核心发现
方法论
DriveSafe采用基于多模态信息融合的场景描述框架，结合空间、运动和深度信息生成地理定位丰富的场景描述，利用结构化提示引导大型语言模型（如LLaMA）进行风险评估和安全建议。核心步骤包括：• 提取道路、车道分割、光流和深度图，构建多模态场景表示；• 生成详细场景描述（captions），融合全局语义；• 通过结构化提示引导LLM输出风险判定、危险对象位置和安全建议；• 使用轻量级适配器微调模型，增强领域适应性。该方法避免直接微调MLLM，提升效率与鲁棒性。
关键结果
- 在DRAMA基准上，DriveSafe-Finetuned在风险检测、危险对象定位和安全建议任务中均优于现有模型，风险检测准确率达52.85%，F1达37.15%，显著优于零-shot版本（分别为23.49%和24.80%）；危险对象定位的平均IoU达83.0%，准确率达74.8%，优于其他通用视觉语言模型；安全建议准确率达52.85%，F1达37.15%，在多场景中表现出良好的泛化能力。
- 通过消融实验验证多模态信息（如深度、光流、道路分割）对性能提升关键作用，结构化场景描述引导LLM的风险判断和建议效果优越，微调适配器显著改善模型鲁棒性和领域适应性。
- 模型在复杂驾驶场景中的风险识别和安全建议方面表现出较强的实用性，特别是在自动驾驶辅助系统中，有望提升场景理解的准确性和决策的安全性。
研究意义
该研究突破了现有多模态大模型在驾驶安全中的应用瓶颈，将场景描述与风险推理紧密结合，显著提升了自动驾驶系统的风险感知和主动安全能力。通过结构化自然语言生成，模型能提供可理解的安全建议，为智能交通安全提供新思路。其创新的多模态融合与微调策略，为未来自主驾驶中的风险评估与安全决策奠定基础，推动行业向更智能、更安全的方向发展。
技术贡献
DriveSafe提出一种融合多模态信息的场景描述生成框架，结合空间、运动和深度信息，利用结构化提示引导LLM进行风险评估与安全建议。创新点在于：• 采用多模态特征融合提升场景理解精度；• 设计结构化提示引导LLM输出风险和建议，增强可解释性；• 通过轻量级适配器微调模型，提升领域适应性和鲁棒性。该方法避免直接微调MLLM，显著降低计算成本，同时实现端到端的风险感知与建议生成，推动了安全感知领域的技术边界。
新颖性
本研究首次将多模态场景描述与结构化提示结合，用于驾驶风险检测与安全建议，避免直接微调大型模型，提出高效的适配策略。相较于传统单模态或端到端微调方法，DriveSafe通过多模态信息增强场景理解，并利用自然语言生成提供可操作的安全建议，填补了风险感知与行动指导的空白，具有重要创新意义。
局限性
- 模型在极端复杂或遮挡严重的场景中仍存在误判风险，主要由于多模态信息的局限性和场景描述的依赖性；
- 微调过程虽高效，但在极大规模场景下仍需较强算力支持，实时性有待进一步优化；
- 目前模型对少见风险类型的识别能力有限，未来需扩展多样化训练数据以提升泛化能力。
未来方向
未来将结合强化学习和在线学习机制，增强模型的适应性和持续学习能力，提升对新型风险的识别效率。同时，计划引入多智能体协作场景，优化多车环境中的风险推理与安全决策，推动自动驾驶系统的全面安全升级。
AI 总览摘要
自动驾驶技术的快速发展带来了前所未有的安全挑战。尽管多模态大模型（MLLMs）在视觉理解方面表现出色，但在细粒度、空间定位的风险评估中仍存在不足。DriveSafe提出一种创新框架，通过融合道路、运动、深度信息生成详细场景描述，结合结构化提示引导LLM进行风险判断和安全建议。该方法避免了对MLLM的直接微调，利用多模态特征增强场景理解能力，显著提升了风险检测的准确性和行动建议的实用性。在DRAMA基准上，DriveSafe的微调模型在风险检测、危险对象定位和安全建议任务中均取得了优异成绩，风险检测准确率达52.85%，危险对象定位IoU达83.0%，安全建议准确率达52.85%。这些成果表明，结合多模态信息与自然语言生成的策略，为自动驾驶系统提供了更为可靠的安全感知工具，有望在未来实现更智能、更安全的交通环境。尽管如此，模型在极端复杂场景中的表现仍需改进，未来将结合强化学习和多智能体协作，推动自动驾驶安全技术的持续发展。
深度分析
研究背景
随着自动驾驶技术的不断成熟，场景理解和风险感知成为核心难题。早期方法多依赖规则或单模态感知模型，难以应对复杂多变的交通环境。近年来，深度学习和多模态融合技术推动了场景理解的发展，如基于图神经网络的交互模型和多模态特征融合算法（如V2V通信、深度估计等）。然而，风险检测仍面临细粒度识别、空间定位和行动建议的挑战，特别是在多源信息融合和自然语言解释方面仍有空白。现有数据集如DRAMA提供丰富标注，但缺乏安全建议的系统性研究，限制了模型的实用性。
核心问题
自动驾驶系统在复杂环境中需要准确识别潜在风险并提供安全建议，但现有模型多偏重风险检测，缺乏可操作的安全指导。零-shot多模态模型在细粒度风险感知上表现不足，难以满足实际应用需求。如何有效融合多模态信息，生成可解释的场景描述，并引导大型语言模型输出具体安全建议，成为亟待解决的问题。这不仅关系到系统的安全性，也影响用户的信任度。
核心创新
本研究的核心创新包括：1）多模态信息融合：结合道路、运动和深度信息，生成地理空间丰富的场景描述；2）结构化提示引导：设计特定提示模板，增强LLM在风险评估和建议中的表现；3）轻量适配微调：采用参数高效的适配器技术，提升模型在驾驶场景中的鲁棒性和泛化能力。这些创新点使模型在不依赖大规模端到端微调的情况下，显著提升了风险感知和安全建议的性能。
方法详解
- �� 输入：多模态视频序列，包括道路分割、光流、深度图和全局描述；• 特征提取：利用Hybrid-Nets提取道路和车道信息，OpenCV的Farnebäck算法计算光流，DepthAnything-v2估算深度；• 场景描述生成：融合多模态特征，利用预训练MLLM生成详细场景描述；• 结构化提示：设计特定模板，将场景描述引导LLM输出风险判定、危险对象位置和安全建议；• 微调：采用LLaMA-Adapter进行参数微调，增强领域适应性；• 输出：风险标签、风险描述、危险对象位置和安全建议。
实验设计
在DRAMA数据集上，模型采用风险检测、危险对象定位和安全建议三项指标进行评估。风险检测以准确率和F1衡量，危险对象定位用IoU指标，安全建议用准确率和F1。模型参数设置包括：批次大小4，学习率2×10^-5，训练5轮，硬件为NVIDIA A6000。对比多种基线模型，验证多模态融合和微调策略的有效性。通过消融实验，验证多模态信息和结构化提示的重要性，确保模型在复杂场景中的鲁棒性。
结果分析
DriveSafe微调模型在DRAMA上表现优异，风险检测准确率达52.85%，F1达37.15%，明显优于零-shot版本（23.49%和24.80%）。危险对象定位IoU达83.0%，准确率74.8%，优于其他模型。安全建议准确率达52.85%，F1达37.15%。多模态融合和结构化提示显著提升模型性能，验证了方法的有效性。模型在多场景下展现出强泛化能力，适应复杂交通环境。
应用场景
该技术可应用于自动驾驶辅助系统，提升风险识别与安全建议的准确性，为智能交通管理提供支持。未来可结合实时感知和决策模块，推动自动驾驶系统的安全升级，减少交通事故发生率。
局限与展望
模型在极端天气或遮挡严重场景中表现仍有限，受多模态信息质量影响较大。微调过程虽高效，但在超大规模场景中仍需大量算力，实时性待优化。此外，模型对少见风险类型识别能力不足，未来需扩展多样化数据集。
通俗解读 非专业人士也能看懂
想象你在一个繁忙的工厂里工作，工厂里有很多机器、工人和运输车。你需要确保每个人都安全，避免发生事故。为了做到这一点，你会观察每个人的动作，比如有人快跑、有人走得太快，或者机器是否有异常。你还会用一些工具，比如摄像头、传感器，来帮你更清楚地看到工厂的情况。然后，你用一台聪明的机器人助手，它可以理解你描述的场景，告诉你哪里可能出事，比如“有人快跑，可能会撞到别人”。这个机器人还会建议你，比如“请慢一点”。这个系统就像DriveSafe一样，结合多种信息，帮你提前发现危险，并给出安全建议，让工厂变得更安全。
简单解释 像给14岁少年讲一样
想象你在玩一个超级复杂的电子游戏，你要控制一个角色在城市里跑来跑去。这个游戏里有很多不同的东西，比如汽车、行人、交通灯。你需要知道什么时候会出事，比如有人突然跑出来，或者车子开得太快。现在，假设你有一个聪明的助手，它可以看着游戏画面，用很多不同的“眼睛”——比如看车的速度、距离、道路情况——然后用简单的话告诉你：“小心，有人在过马路！”或者“前面有辆车停着，可能会动。”这个助手还能建议你：“慢一点”或者“绕开这个区域”。这就像DriveSafe一样，结合多种信息，帮你提前发现危险，给出安全建议，让你在道路上更安全。
原文摘要
Comprehensive situational awareness is essential for autonomous vehicles operating in safety-critical environments, as it enables the identification and mitigation of potential risks. Although recent Multimodal Large Language Models (MLLMs) have shown promise on general vision-language tasks, our findings indicate that zero-shot MLLMs still underperform compared to domain-specific methods in fine-grained, spatially grounded risk assessment. To address this gap, we propose DriveSafe, a framework for risk-aware scene understanding that leverages structured natural language descriptions. Specifically, our method first generates spatially grounded captions enriched with multimodal context, including motion, spatial, and depth cues. These captions are then used for downstream risk assessment, explicitly identifying hazardous objects, their locations, and the unsafe behaviors they imply, followed by actionable safety suggestions. To further improve performance, we employ caption-risk pairings to fine-tune a lightweight adapter module, efficiently injecting domain-specific knowledge into the base LLM. By conditioning risk assessment on explicit language-based scene representations, DriveSafe achieves significant gains over both zero-shot MLLMs and prior domain-specific baselines. Exhaustive experiments on the DRAMA benchmark demonstrate state-of-the-art performance, while ablation studies validate the effectiveness of our key design choices. Project page: https://cvit.iiit.ac.in/ research/projects/cvit-projects/drivesafe