Metis: A Generalizable and Efficient World-Action Model for Autonomous Driving and Urban Navigation

随着自动驾驶和城市导航技术的发展，基于深度学习的环境感知与路径规划方法不断演进。早期依赖规则和地图的方案逐渐被端到端学习取代，但仍存在泛化差、计算量大等问题。近年来，视觉语言模型（VLM）和视频生成模型（如Video Diffusion）在环境理解中展现出强大能力，推动了世界动作模型（WAM）的兴起。WAM结合环境预测与动作生成，试图实现更具物理一致性和环境适应性的路径规划。代表性工作包括基于Transformer的自主驾驶模型（如ReCogDrive、SGDrive）和结合强化学习的端到端系统（如DriveSuprim）。然而，现有模型多依赖于在推理时生成未来观察，导致高延迟，且视频与动作模型紧密耦合，影响泛化能力。

当前自主驾驶和城市导航中的WAM面临两个主要瓶颈：一是未来观察预测带来的高推理延迟，二是视频生成与动作预测的紧密耦合导致的表示不匹配。这些问题限制了模型在实际应用中的响应速度和泛化能力。具体而言，推理时生成未来观察耗时长，难以满足实时性要求；而紧耦合结构在复杂环境中难以适应不同场景变化，影响路径规划的鲁棒性。解决这些问题，成为推动自主系统商业化的关键。

Metis的核心创新在于引入解耦架构与非对称注意掩码：

• �� 采用Mixture-of-Transformers架构，分别训练视频生成专家（VGE）和动作预测专家（AE），保持各自分布特性，增强泛化能力。
• �� 在训练中，两个专家通过共享潜在空间实现信息交流，利用流匹配优化联合学习。
• �� 在推理阶段，利用非对称注意掩码，动作模型仅关注当前视觉观察，跳过未来视频生成，极大提升效率。
• �� 设计结构化注意机制，允许未来视频信息在训练中引导动作优化，但在推理中实现高效跳过，确保训练与推理一致性。
• �� 结合预训练视频模型（如Wan2.2-5B）和扩散Transformer，提升模型的环境动态理解和路径预测能力。

• �� 输入：当前视觉观察ot、语言指令l。
• �� 训练阶段：
• 利用VAE编码视觉信息，T5编码文本信息。
• 训练视频生成专家（VGE）捕获时空动态，动作预测专家（AE）进行低维轨迹预测。
• 通过流匹配优化两个专家的输出，确保潜在空间一致性。
• 采用结构化非对称注意掩码，限制动作模型只关注当前观察，未来视频信息在训练中引导动作。
• �� 推理阶段：
• 仅利用当前观察的潜在表示，预测动作。
• 跳过未来视频生成，减少计算。
• 通过共享潜在空间，保持环境动态的合理性。
• �� 训练目标：结合动作流和未来视频的速度场预测，优化路径与环境演变的拟合。

采用NAVSIM-v2和CityWalker两个公开数据集，评估模型在自主驾驶和城市导航中的表现。对比多种基线，包括VLA和端到端方法，指标涵盖EPDMS、TTC、L2误差、MAOE等。训练中采用不同的超参数（如视频长度、扩散步数），进行消融分析验证非对称注意掩码的效果。模型在硬件平台上进行实时推理，验证其效率提升。还在真实机器人平台上进行零样本部署，测试环境适应性和鲁棒性。

Metis在NAVSIM-v2 navhard基准上EPDMS达32.2，优于所有对比方法，且在navtest中保持领先。CityWalker数据集上，平均L2误差为0.64米，MAOE低至9.8度，明显优于VLA方法。推理速度提升约50%，计算成本显著降低。实车部署验证了模型的实时性和环境适应性，表现出强大的泛化能力和鲁棒性。消融实验显示非对称注意掩码在保持性能的同时大幅提升效率。

该模型可应用于自动驾驶车辆的路径规划、复杂城市环境中的导航系统，以及无人机自主飞行等场景。模型在训练阶段依赖大规模环境数据，部署时只需当前观察信息，适合边缘计算设备。未来，结合多模态感知和强化学习，有望实现更安全、更智能的自动驾驶解决方案，推动智能交通系统的普及。

模型在极端复杂或未见环境中仍存在泛化不足的问题，尤其是在动态变化极快的场景。训练成本较高，依赖大量预训练模型，硬件要求高。推理过程中，虽然跳过视频生成，但动作预测在某些高动态场景下仍可能出现偏差。未来需优化模型结构，增强极端环境下的鲁棒性，同时降低训练成本。