核心发现
方法论
本文设计了多智能体协作流程，包括动作投票、置信度评估和总结，利用显式链式推理（CoT）生成高质量决策示范。示范通过多智能体合作生成多样化推理路径，结合置信度评估，筛选出可信决策。随后，将示范蒸馏到双头轻量模型中，模型同时预测决策概率和生成文本理由。蒸馏采用置信感知微调策略，结合检索增强生成（RAG）提升数据效率和适应性。模型架构包括双头设计，支持决策概率预测和文本解释，确保推理效率与可解释性。实验在nuPlan基准上验证，达成SOTA性能，适应常规和长尾场景，且推理延迟低。
关键结果
- 在nuPlan测试集上，方法在常规场景中成功率达96.93%，长尾场景89.71%，优于多数大模型方法，且推理速度显著优于auto-regressive模型，验证其在资源受限环境中的实用性。
- 通过多智能体合作生成的决策示范，显著提高模型的鲁棒性和不确定性表达能力，模型在复杂场景下表现优异，尤其在长尾样本中表现出较强的泛化能力。
- 蒸馏策略结合置信感知微调和RAG，有效提升模型的数据效率和适应性，验证了多模态推理的可信度和可解释性在实际应用中的重要性。
研究意义
该研究突破了大规模基础模型在自动驾驶中的高计算成本瓶颈，提出结合多智能体合作和置信感知的轻量模型架构，有效实现复杂多模态推理与高效推断的结合。其在自动驾驶决策中的应用，不仅提升了系统的鲁棒性和安全性，也为资源有限平台提供了可行方案。该方法的成功验证，推动了自动驾驶领域向更低延迟、更高可靠性和更强泛化能力的方向发展，具有重要的学术和产业价值。
技术贡献
本文提出了多智能体合作生成置信度标注决策示范的架构，结合显式链式推理（CoT）实现多样化推理路径。创新性地将示范蒸馏到双头轻量模型中，采用置信感知微调策略和检索增强生成（RAG），显著提升模型的适应性和数据效率。该模型同时预测决策概率和生成文本理由，兼顾推理深度与推断速度，为自动驾驶决策提供了高效、可解释的解决方案。此架构区别于传统大模型依赖auto-regressive推理的方式，兼具鲁棒性与实时性。
新颖性
本研究首次将多智能体合作生成的置信度决策示范蒸馏到双头轻量模型中，结合显式链式推理与置信感知微调，突破了大模型高延迟的限制。其创新点在于多模态意图推理的可信度量化与高效蒸馏机制，显著提升模型在复杂场景中的表现，填补了自动驾驶中高效可信推理的空白。
局限性
- 模型在极端复杂或未见过的场景中，仍可能因示范不足或推理偏差导致决策不准确，尤其在极端天气或突发事件中表现有限。
- 依赖多智能体合作生成示范，数据采集和示范质量对模型性能影响较大，实际部署中示范多样性和代表性仍需优化。
- 模型在极端长尾场景中的泛化能力尚待提升，未来需结合更丰富的多模态信息和强化学习策略改善鲁棒性。
未来方向
未来将探索多模态信息融合的更深层次机制，提升模型在极端复杂环境中的表现。还将结合强化学习优化决策策略，增强模型的自主适应能力。此外，研究将关注模型在实际硬件上的部署优化，降低能耗和延迟，推动自动驾驶系统的商业化落地。
AI 总览摘要
自动驾驶决策面临复杂场景中的多模态意图推理与实时性挑战。传统大模型虽具强大推理能力，但高计算成本限制了其实际应用。本文提出一种结合多智能体合作、显式链式推理和置信度感知的轻量级决策模型架构。通过多智能体协作生成多样化推理路径，结合置信度评估筛选可信决策，再将示范蒸馏到双头轻量模型中，显著提升推理速度和数据效率。该模型同时预测决策概率和生成文本理由，兼具可解释性和鲁棒性。实验在nuPlan基准上验证，达成96.93%的成功率，优于多数大模型方法，且推理延迟低，适合资源有限的自动驾驶平台。这一创新架构不仅解决了高延迟问题，还提升了系统在复杂和长尾场景中的表现，为自动驾驶行业提供了新思路。未来，模型将结合强化学习和多模态信息融合，进一步提升鲁棒性和适应性，推动自动驾驶技术的商业落地。
深度分析
研究背景
自动驾驶技术经历了从规则驱动到学习驱动的演变，深度学习和大模型的引入极大提升了系统的智能水平。早期方法依赖手工规则，难以应对复杂场景。近年来，基于深度学习的行为预测和路径规划取得突破，代表性工作如Waymo的行为预测模型和Tesla的自动驾驶系统。大规模预训练模型如GPT-4和多模态模型在理解环境和推理方面展现潜力，但其高计算成本限制了在车载硬件上的应用。多模态融合和知识蒸馏技术逐渐成为研究热点，旨在实现高效、鲁棒的自动驾驶决策。
核心问题
当前大模型在自动驾驶中的应用面临两个主要瓶颈：一是推理延迟过高，难以满足实时性需求；二是缺乏明确的不确定性表达，影响决策的可信度。虽然已有的多模态推理框架能生成多样化路径，但计算成本巨大，难以在资源有限的车载平台部署。此外，模型在长尾场景中的泛化能力不足，导致系统在极端复杂环境下表现不佳。这些问题限制了大模型在实际自动驾驶中的广泛应用，亟需高效、可信的决策方案。
核心创新
本研究的创新点包括：1）设计多智能体合作流程，生成多样化且置信度标注的决策示范，增强推理的多样性和可信度；2）引入显式链式推理（CoT）机制，提升多模态意图推理的深度和解释性；3）将示范蒸馏到双头轻量模型中，结合置信感知微调和检索增强生成（RAG），实现低延迟、高数据效率的推理能力；4）模型同时预测决策概率和生成文本理由，兼具可解释性和鲁棒性。这些创新突破了传统大模型的高成本限制，为自动驾驶提供了高效可信的决策方案。
方法详解
- �� 多智能体协作：通过多个LLM智能体模拟多样化决策路径，每个智能体执行场景理解、关键对象识别和行动选择三步链式推理，生成多样化决策示范。
- �� 置信度评估：为每个智能体生成的路径赋予置信度，利用单独的置信度评估智能体分析路径正确性，减少偏差。
- �� 示范总结：将多路径示范整合，生成最终决策及理由，结合置信度进行概率归一。
- �� 蒸馏训练：将示范中的推理和置信信息蒸馏到双头轻量模型中，模型同时进行决策概率预测和文本生成。
- �� 微调策略：采用置信感知微调和检索增强生成（RAG），提升模型在有限数据上的适应性和推理可信度。
- �� 运动规划：结合决策概率和置信度，动态筛选候选动作集，利用扩散模型优化轨迹，最终实现高效决策。
实验设计
在nuPlan基准上进行验证，采用成功率和闭环得分作为主要指标。比较对象包括规则驱动、数据驱动、混合和知识驱动方法。模型超参数如置信阈值γc=0.1，推理延迟控制在0.1秒以内。通过多场景测试，验证模型在常规和长尾场景中的鲁棒性。采用AB测试和消融实验，分析多智能体示范、置信评估和微调策略对性能的影响。实验结果显示，本文模型在成功率和鲁棒性方面均优于现有方法，验证了其高效性和实用性。
结果分析
模型在nuPlan测试集中的成功率达96.93%，长尾场景89.71%，在多项指标中优于大模型和传统方法。推理延迟低于0.1秒，满足实时需求。多智能体示范增强了模型的鲁棒性，置信度评估提升了决策可信度。蒸馏策略显著改善了模型的数据效率和泛化能力，特别在复杂环境中表现优异。整体结果表明，该方法在保证推理速度的同时，达到了SOTA的决策成功率，为自动驾驶系统的实际部署提供了有力支持。
应用场景
该模型可直接应用于自动驾驶车辆的决策模块，尤其适合资源受限的平台。其高效、可信的推理能力，有助于提升自动驾驶系统的安全性和鲁棒性。未来可结合多模态感知信息，优化路径规划和交互策略，推动智能驾驶的商业化落地。长远来看，该技术有望实现全场景自主驾驶，降低成本，提升用户体验。
局限与展望
模型在极端天气或突发事件中可能表现不足，示范多样性受限，泛化能力仍需提升。此外，模型在极端长尾场景中的表现尚未完全优化，未来需结合强化学习和多模态信息融合，增强系统鲁棒性。计算资源需求虽低于大模型，但在极端复杂环境下仍存在性能瓶颈。
通俗解读 非专业人士也能看懂
想象你在开车，面对复杂的路况和交通情况，你需要快速做出安全合理的决定。传统方法像是用一本厚厚的指南书，内容丰富但太重，难以快速拿出来用。现在，这个研究提出一种轻巧的“智能助手”，它通过模拟多个“司机”的思考过程，生成不同的驾驶建议，并给出每个建议的可信度。然后，它把这些建议浓缩成一个简单的“聪明小助手”，可以在车上快速使用。这个小助手不仅能告诉你哪个动作最安全，还能解释为什么这样选择，就像一个懂事的朋友一样。这样，车辆可以更快、更安全地应对各种复杂情况，就像有一群聪明的朋友在你身边帮忙一样。
简单解释 像给14岁少年讲一样
你知道开车时遇到复杂的路况，要快速决定怎么走吗？以前的方法就像用一本很厚的书，要花很长时间才能找到答案。而这项新技术像是有一群聪明的朋友在你身边，他们每个人都想出不同的建议，比如左转、右转、加速或减速。每个朋友还会告诉你他们觉得这个建议有多靠谱。最后，这些建议会被总结成一个简单的方案，告诉你最安全、最合适的动作，还会解释原因。这个过程就像你有一群聪明的朋友帮你出主意，而且他们还能告诉你他们的想法有多靠谱。这样，你就可以更快、更安全地开车，尤其是在复杂或突发的情况中。
原文摘要
Large Language Models (LLMs) and Multimodal LLMs (MLLMs) have demonstrated immense potential in autonomous driving (AD) by offering human-like reasoning and open-world generalization. However, the excessive computational overhead and high inference latency of these massive models severely hinder their deployment in resource-constrained AD systems. To address this challenge, we propose a novel decision-making framework utilizing a lightweight confidence-aware language model, which bridges the gap between complex multimodal intention reasoning and efficient inference. Specifically, we design a multi-agent collaborative workflow, comprising action voting, confidence assessment, and summarization agents, to generate high-quality, confidence-annotated decision demonstrations via explicit Chain-of-Thought (CoT) reasoning. These demonstrations are then distilled into a lightweight language model featuring a dual-head architecture, enabling the joint prediction of decision probabilities and the generation of textual rationales. The distillation is realized via a confidence-aware fine-tuning strategy coupled with Retrieval Augmented Generation (RAG) to enhance the model's adaptability and data efficiency. Comprehensive closed-loop experiments on the nuPlan benchmark demonstrate that our approach achieves state-of-the-art (SOTA) success rates in both regular and long-tail scenarios while maintaining low inference latency.