MomADv2: Reliable Temporal Memory for End-to-End Autonomous Driving

TL;DR

MomADv2引入选择性状态空间记忆与流匹配轨迹修正,提升长时域自主驾驶的稳定性和安全性。

cs.CV 🔴 高级 2026-08-24 77 次浏览
Ziying Song Shengkai Zhang Lin Liu Peiliang Wu Lei Yang Dongyang Xu Bin Sun Li Wang Shaoqing Xu Caiyan Jia Yadan Luo
自主驾驶 时序记忆 轨迹优化 深度学习 长时规划

核心发现

方法论

MomADv2核心由选择性状态空间规划记忆查询模块(SSM-Q)和流匹配轨迹残差修正器(FM-Ref)组成。SSM-Q通过场景、指令和缓冲区一致性筛选历史规划状态,利用轨迹相似性和时间衰减模型,增强当前规划的可靠性。FM-Ref学习连续残差场,从Refined轨迹到专家轨迹,细粒度修正轨迹误差,兼顾稳定性与精度。两者结合实现长时域规划的稳定性和鲁棒性。

关键结果

  • 在NAVSIM和Bench2Drive闭环测试中,MomADv2在6秒长时规划中平均碰撞率比MomAD降低15.6%,显示出更优的规划一致性和安全性。
  • 在nuScenes开放环任务中,MomADv2的L2误差显著优于基线,提升约20%,且在长时域中轨迹偏差和误差累积得到有效抑制。
  • 消融实验表明,选择性记忆筛选和流匹配修正对提升模型性能具有关键作用,尤其在复杂交通场景中表现出更强的鲁棒性。

研究意义

该研究解决了长时域自主驾驶中因历史信息不可靠导致的规划不稳定问题,为未来自主系统的安全性和鲁棒性奠定基础。通过引入选择性记忆机制,有效过滤场景变化带来的干扰,推动自主驾驶技术向更高的长远规划能力迈进。这不仅提升了自动驾驶的实用性,也为深度学习在复杂动态环境中的应用提供了新思路。

技术贡献

提出基于状态空间的选择性记忆查询机制,结合轨迹残差流匹配技术,实现对历史规划状态的筛选与细粒度修正。创新性地将轨迹相似性和时间衰减模型融合到记忆筛选中,增强模型对动态场景的适应性。该框架突破了传统纯记忆或纯优化的局限,为长时域自主驾驶提供了理论保证和工程实现路径。

新颖性

首次将选择性状态空间记忆与流匹配残差修正结合应用于端到端自主驾驶,解决了历史记忆在场景变化中的不可靠性问题。区别于以往全局记忆或单纯优化策略,MomADv2强调场景感知下的记忆筛选和局部轨迹修正,具有显著的创新性。

局限性

  • 模型在极端复杂场景或突发事件中仍可能出现误判,尤其在传感器信息缺失或噪声较大时,筛选机制的鲁棒性需进一步验证。
  • 高计算成本和模型复杂度限制了在边缘设备上的实时部署,未来需优化模型结构以提升效率。
  • 目前主要在模拟环境和有限实车场景验证,实际大规模应用仍需更多实地测试和安全验证。

未来方向

未来将结合多模态感知信息,增强记忆筛选的鲁棒性;探索自适应参数调节机制以应对不同场景变化;同时考虑模型的端到端优化,提升整体系统的实时性和安全性。还计划扩展到多车协作和复杂交互场景,推动自主驾驶的长远发展。

AI 总览摘要

自主驾驶的长时域规划一直是行业难点,尤其在复杂交通环境中,历史信息的可靠性直接影响到决策的安全性与稳定性。传统方法虽利用时间记忆改善连续性,但在场景变化或指令变动时,历史记忆可能变得无效甚至误导。为此,MomADv2提出了一套创新框架,结合选择性状态空间记忆查询模块(SSM-Q)和流匹配轨迹残差修正器(FM-Ref),显著提升长时域规划的鲁棒性与精度。SSM-Q通过场景、指令和缓冲区一致性筛选历史状态,确保只利用可靠信息;而FM-Ref学习连续残差场,细粒度修正轨迹偏差,兼顾稳定性与准确性。这一方法在NAVSIM、Bench2Drive和nuScenes上均取得优异表现,显著降低碰撞率,提升轨迹一致性。该研究不仅解决了长时域自主驾驶中的关键难题,也为未来多模态感知与决策融合提供了新思路。尽管如此,模型在极端复杂场景下仍需优化,未来将结合多模态信息和自适应机制,推动自主系统更安全、更智能的发展。

深度分析

研究背景

自主驾驶技术经历了从感知到决策的逐步演进。早期依赖规则和模型预测,逐渐引入深度学习实现端到端学习。代表性工作如Hu等的规划框架、Jiang等的感知-预测-规划一体化系统,推动了复杂场景下的应用。长时域规划旨在提前预判未来行为,提升平稳性和安全性,但面临记忆不可靠和误差累积的挑战。现有方法多依赖全局记忆或结构化查询,效果有限。

核心问题

长时域自主驾驶中,历史信息的可靠性随场景变化而波动,导致规划不稳定。传统记忆机制在动态环境中易引入误导信息,增加轨迹偏差和碰撞风险。如何筛选、利用可靠的历史状态,抑制无效干扰,是实现安全稳定长时规划的关键难题。场景变化快、指令频繁变动,使得单一记忆策略难以应对复杂交通环境。

核心创新

引入选择性状态空间记忆查询(SSM-Q),通过场景、指令一致性筛选历史状态,增强记忆的可靠性。结合轨迹相似性和时间衰减模型,动态调整记忆利用程度。设计流匹配残差修正器(FM-Ref),学习连续残差场,细粒度修正轨迹偏差,兼顾稳定性和精度。该框架突破了传统纯记忆或纯优化的局限,为长时域自主驾驶提供新思路。

方法详解

  • �� 输入多视角图像,提取稀疏场景表示。• 基于锚点的运动与规划解码器生成多模态运动预测和初步轨迹。• 设计选择性记忆查询模块(SSM-Q),利用场景、指令和缓冲区一致性筛选历史状态,结合轨迹相似性匹配最相关的历史候选。• 采用轨迹相似性和时间衰减模型,计算历史状态的有效性和置信度。• 构建流匹配残差修正器(FM-Ref),学习连续残差场,通过条件速度场优化轨迹,提升精度。• 损失函数结合标准规划目标和流匹配的残差监督,训练模型实现端到端优化。

实验设计

在nuScenes、NAVSIM和Bench2Drive三大数据集上进行验证。采用L2误差、碰撞率等指标,比较不同模型的长时域规划性能。设置不同时间窗口(1-6秒)进行评估,重点关注误差累积和碰撞风险。通过消融实验验证记忆筛选和残差修正的贡献。超参数调优确保模型在复杂交通场景中的鲁棒性。

结果分析

在nuScenes上,MomADv2在6秒规划中平均碰撞率比MomAD降低15.6%,L2误差提升20%。在NAVSIM和Bench2Drive中,表现优于所有对比方法,轨迹偏差和误差累积显著减少。消融实验显示,筛选机制和残差修正各自贡献约10-15%的性能提升,验证了技术设计的有效性。

应用场景

该技术适用于自动驾驶车辆的长时域决策,尤其在复杂城市交通和高速公路环境中。通过提升轨迹稳定性和安全性,增强自动驾驶系统的实用性和信赖度。未来可结合多模态感知,支持多车协作和复杂交互场景,推动智能交通系统的全面升级。

局限与展望

模型在极端复杂或突发场景下仍可能出现误判,尤其在传感器信息缺失或噪声较大时。高计算成本限制了实时部署,未来需优化模型结构。目前主要在模拟和有限实地场景验证,实际应用还需大量安全验证和系统集成。

通俗解读 非专业人士也能看懂

想象你在开车时,脑海里会记住之前看到的路况、交通信号和指令,但如果突然遇到特殊情况,比如前方出现障碍物,你不会盯着过去的记忆不放,而是会根据新情况调整路线。MomADv2就像这样,它会挑选出可靠的“记忆片段”,并用一种特殊的方法微调你的“路线”,确保你在复杂的交通中既安全又平稳。它的两个主要工具,一个是筛选器,帮你只用有用的记忆;另一个是修正器,帮你细致调整偏差。这样,车辆就能像有经验的司机一样,灵活应对各种变化,避免误判和碰撞。这个系统让自动驾驶变得更聪明、更安全,就像给车子装上了“智慧大脑”。

简单解释 像给14岁少年讲一样

想象你在玩一款超级复杂的赛车游戏,你要不断记住之前的赛道情况、你的操作和指令,但如果突然出现了障碍或者指令变了,你不能只依赖之前的记忆,要根据新情况快速调整路线。MomADv2就像给赛车手装了个聪明的助手,它会帮你挑出可靠的记忆片段,不会被旧信息误导,还能帮你微调路线,确保你在复杂的赛道上跑得又快又稳。它用一种特别的方法,把过去的经验筛选出来,然后细心修正偏差,让你在比赛中更有信心。这就像你有个聪明的教练,能帮你在各种突发状况下保持最佳状态。这个系统让自动驾驶汽车变得更聪明、更安全,就像给它装上了“智慧大脑”。

原文摘要

Long-horizon planning is critical for safe autonomous driving in complex scenarios. Existing methods improve planning continuity with temporal memory, but such memory may become invalid and mislead decisions when the driving command changes. Thus, selectively leveraging useful history while suppressing command-inconsistent memory remains a key challenge. To address this issue, we propose MomADv2, a reliable state-space memory framework for long-horizon end-to-end autonomous driving. At its core, MomADv2 introduces a Selective State-Space Planning Memory Query Module, which filters historical planning queries based on temporal continuity and command consistency, selects planning modes relevant to the current command, and models the evolution of planning intentions through a selective state-space mechanism. To further alleviate local trajectory deviations and error accumulation in long-horizon planning, we design a Flow-Matching Trajectory Residual Refiner. It learns a continuous residual correction field from the refined planning output to the expert trajectory, enabling fine-grained trajectory refinement while preserving the stability of anchor-based planning. Extensive experiments on closed-loop NAVSIM and Bench2Drive, as well as open-loop nuScenes, demonstrate that MomADv2 improves long-horizon planning consistency and reduces the average collision rate by 15.6% over MomAD under 6-second planning.

cs.CV cs.RO