核心发现
方法论
研究采用了一个包含740个视频的基准数据集PaSBench-Video，涵盖驾驶、医疗、日常生活和工业生产四个领域。风险视频提供帧级风险开始和事故边界注释。模型需在流式视频中因果观察并发出时间校准且内容正确的警告。
关键结果
- 在最严格的指标下，无模型超过20.0%，召回率与误报率密切相关，Pearson相关系数为0.64。
- 在日常生活领域，模型在低误报率下实现了中等召回率，而在驾驶领域则表现不佳。
- 模型主要依赖场景级活动线索，而非对潜在危害的推理。
研究意义
该研究通过引入PaSBench-Video基准，填补了现有基准在评估视频多模态大模型主动安全警告能力上的空白。它强调了时间校准和内容准确性的重要性，并揭示了当前模型在不同领域的性能差异。
技术贡献
PaSBench-Video提供了一个结构化的测试平台，允许对模型的时间风险推理能力进行独立评估。该基准的设计考虑了流式评估、时间校准和误报鲁棒性。
新颖性
这是首个专注于视频多模态大模型主动安全警告能力的基准，特别是在流式视频环境中进行评估。
局限性
- 当前模型在驾驶领域表现不佳，误报率高。
- 模型对风险的识别主要依赖场景级活动线索。
- 尚未达到部署准备状态，存在工程和能力限制。
未来方向
未来工作可集中在提高模型的时序推理能力，减少误报率，并探索更高效的工程实现。
AI 总览摘要
在许多安全关键的事故中，视觉上可识别的警告信号往往先于事故发生。现有的视频多模态大模型（MLLMs）可以作为主动安全助手，在事故发生前发出警告。然而，当前的基准测试无法充分评估这种能力。PaSBench-Video基准通过提供一个740视频的数据集，涵盖驾驶、医疗、日常生活和工业生产四个领域，填补了这一空白。研究发现，模型在最严格的指标下表现不佳，召回率与误报率密切相关，且在不同领域的表现差异显著。特别是在驾驶领域，模型难以区分常规和危险场景。这表明当前模型主要依赖场景级活动线索，而非对潜在危害的推理。未来的研究方向包括提高模型的时序推理能力和减少误报率。
深度分析
研究背景
随着多模态大模型的发展，视频分析在安全监控中的应用潜力巨大。然而，现有的基准测试主要集中在静态输入的评估，缺乏对流式视频中主动安全警告能力的测试。PaSBench-Video基准通过提供一个结构化的数据集，填补了这一空白。
核心问题
当前的多模态大模型在识别和警告潜在风险方面表现不佳，特别是在流式视频环境中。模型需要在不影响用户信任的情况下，准确识别风险并发出警告。
核心创新
PaSBench-Video的创新在于其结构化的设计，允许对模型的时间风险推理能力进行独立评估。它考虑了流式评估、时间校准和误报鲁棒性。
方法详解
- �� 使用PaSBench-Video数据集进行评估
- �� 模型需因果观察视频并发出警告
- �� 评估指标包括时间校准和内容准确性
- �� 对13个多模态大模型进行测试
实验设计
实验使用PaSBench-Video数据集，涵盖四个领域的视频。模型需在流式视频中因果观察并发出警告。评估指标包括召回率、误报率和时间校准。
结果分析
研究发现，模型在最严格的指标下表现不佳，召回率与误报率密切相关。特别是在驾驶领域，模型难以区分常规和危险场景。
应用场景
PaSBench-Video可用于评估视频多模态大模型在安全监控中的应用潜力，特别是在需要主动安全警告的场景中。
局限与展望
当前模型在驾驶领域表现不佳，误报率高。模型主要依赖场景级活动线索，而非对潜在危害的推理。
通俗解读 非专业人士也能看懂
想象你在家中安装了一台智能摄像机，它可以监控家中的一切。当宝宝开始爬上婴儿床的栏杆时，摄像机会发出警告，提醒你注意。这就像是一个时刻保持警觉的保姆，帮助你在事故发生前采取行动。PaSBench-Video基准就是为了测试这些智能摄像机的警觉性，看看它们能否在不同的场景中准确识别风险并发出警告。
简单解释 像给14岁少年讲一样
想象一下，你在玩一个游戏，游戏中有一个机器人助手，它会在你遇到危险时发出警告。这个机器人助手需要非常聪明，能够在你还没注意到危险时就提醒你。PaSBench-Video基准就像是一个测试场，看看这些机器人助手能否在不同的游戏场景中准确识别危险并发出警告。
术语表
多模态大模型 (Multimodal Large Language Models)
结合多种输入模式（如文本、图像、视频）的模型，用于复杂任务。
用于视频分析和主动安全警告。
流式视频 (Streaming Video)
连续播放的视频流，允许实时分析。
用于测试模型的实时风险识别能力。
误报率 (False Positive Rate)
模型错误地发出警告的频率。
用于评估模型的准确性和可靠性。
时间校准 (Temporal Calibration)
模型发出警告的时间精度。
用于评估模型的时间敏感性。
风险识别 (Risk Detection)
识别潜在危险并发出警告的能力。
模型的核心功能之一。
开放问题 这项研究留下的未解疑问
- 1 如何提高模型在驾驶领域的风险识别能力？现有方法难以区分常规和危险场景。
- 2 如何减少误报率？频繁的误报会降低用户信任。
应用场景
近期应用
家庭监控
智能摄像机可用于监控家庭安全，及时发出警告。
远期愿景
自动驾驶安全
提高自动驾驶系统的安全性，减少事故发生。
原文摘要
Between the first visible sign of danger and the moment an accident occurs, there is often a window where intervention remains possible. Video-capable multimodal large language models (MLLMs) could serve as always-on safety monitors that issue warnings during this window. Yet current benchmarks do not test this ability: they rely on static inputs, ignore timing precision, and omit false-positive measurement on safe scenes. We present PaSBench-Video, a 740-video benchmark with 481 risk and 259 no-risk videos across four domains: driving, healthcare, daily life, and industrial production. Risk videos are annotated with frame-level risk onset and accident boundaries. A model must observe the video causally and produce a warning that is both temporally calibrated and content-correct. Testing 13 MLLMs, we find that no model exceeds 20.0% on our strictest metric, and recall is tightly coupled with false-positive rate, with Pearson correlation 0.64: higher detection comes only at the cost of triggering warnings on the majority of safe clips. Performance splits sharply by domain: models achieve moderate recall at low false-positive rates in daily life, where risks are inherently anomalous, yet fire indiscriminately in driving, where routine and hazardous scenes look alike. These results indicate that current models rely on scene-level activity cues rather than reasoning about emerging harm.