核心发现
方法论
AVTrustBench通过600K样本和9个任务评估音视频LLM的能力，涉及对抗攻击、组合推理和模态依赖。CAVPref是一种模型无关的优化策略，通过校准音视频偏好，显著提升模型的鲁棒性和可靠性。
关键结果
- 在9个任务中，CAVPref方法提升了30.19%的性能，显著优于现有方法。
- 多数现有模型在对抗攻击和组合推理任务中表现不佳，难以达到人类水平。
- 实验表明，模型在音频和视频模态的依赖性上存在显著差异。
研究意义
该研究首次提出了全面评估音视频LLM的基准，填补了现有基准在音频理解方面的空白。通过揭示现有模型的不足，为未来研究指明了方向，并通过CAVPref策略提供了提升模型性能的新途径。
技术贡献
AVTrustBench是首个全面评估音视频LLM的基准，CAVPref策略通过音视频偏好优化，提供了新的模型训练方法，显著提升了模型的鲁棒性。
新颖性
AVTrustBench是第一个专注于音视频LLM的信任评估基准，CAVPref策略在多模态偏好优化中引入了音视频校准的新思路。
局限性
- 现有模型在处理音频和视频模态的组合推理任务时表现不佳，尤其在复杂场景下。
- CAVPref策略在某些特定任务中的提升效果有限。
未来方向
未来研究可以探索更复杂的多模态组合任务，开发更高效的音视频融合策略，并进一步优化CAVPref策略以提升其在不同任务中的适用性。
AI 总览摘要
多模态大语言模型（MLLMs）的快速发展引发了对其多模态推理能力的评估需求。然而，现有基准主要集中在视觉方面，忽略了音视频的整体理解。AVTrustBench通过600K样本和9个任务，首次全面评估了音视频LLM的能力，揭示了现有模型在对抗攻击、组合推理和模态依赖方面的不足。
为解决这些问题，研究提出了CAVPref策略，这是一种模型无关的音视频偏好优化方法，显著提升了模型的鲁棒性和可靠性。实验结果显示，CAVPref在所有任务中提升了30.19%的性能，远超现有方法。
该研究不仅填补了音视频理解评估的空白，还为未来研究提供了新的方向。通过公开代码和基准，研究鼓励学术界和工业界共同探索更强大的音视频LLM，推动多模态人工智能的发展。
深度分析
研究背景
随着大语言模型（LLMs）的发展，多模态大语言模型（MLLMs）逐渐成为研究热点。这些模型不仅能处理文本，还能理解图像、视频和音频。然而，现有的评估基准多集中于视觉模态，忽视了音视频的整体理解能力。
核心问题
现有基准未能全面评估音视频LLM的能力，尤其在对抗攻击、组合推理和模态依赖方面。缺乏对这些模型在复杂音视频场景下可靠性和鲁棒性的评估。
核心创新
AVTrustBench首次提出全面评估音视频LLM的基准，涵盖9个任务。CAVPref策略通过音视频偏好优化，显著提升模型性能，提供了新的训练方法。
方法详解
- �� AVTrustBench包含600K样本，9个任务，评估音视频LLM的多维能力。
- �� CAVPref策略通过音视频偏好校准，提升模型的鲁棒性。
- �� 使用半自动标注生成多选题，降低人工成本。
实验设计
实验使用AVTrustBench基准，评估13个最先进的音视频LLM。通过对比不同模型在9个任务中的表现，分析其在对抗攻击和组合推理任务中的不足。
结果分析
CAVPref策略在所有任务中提升了30.19%的性能，显著优于现有方法。多数现有模型在对抗攻击和组合推理任务中表现不佳，难以达到人类水平。
应用场景
AVTrustBench和CAVPref策略可用于开发更可靠的音视频LLM，应用于自动驾驶、智能监控等领域，提升多模态人工智能的实际应用性能。
局限与展望
现有模型在处理音频和视频模态的组合推理任务时表现不佳，尤其在复杂场景下。CAVPref策略在某些特定任务中的提升效果有限，未来需进一步优化。
通俗解读 非专业人士也能看懂
想象一个学校，老师（模型）需要同时理解学生的语言和肢体语言（音视频）。现有的老师只关注学生的语言，而忽略了肢体语言。AVTrustBench就像一个测试，评估老师在理解学生整体表达上的能力。CAVPref策略则是一个培训计划，帮助老师更好地理解学生的语言和肢体语言，从而提升教学效果。
简单解释 像给14岁少年讲一样
想象你在玩一个需要同时听音乐和看视频的游戏。现有的游戏角色只关注视频，忽略了音乐。AVTrustBench就像一个测试，评估角色在理解游戏整体体验上的能力。CAVPref策略则是一个升级包，帮助角色更好地理解音乐和视频，从而提升游戏体验。
术语表
对抗攻击 (Adversarial Attack)
故意扰乱模型输入以测试其鲁棒性的方法。
在AVTrustBench中用于评估模型在不利条件下的表现。
组合推理 (Compositional Reasoning)
理解多事件音视频输入的能力。
评估模型在处理复杂音视频场景时的理解能力。
模态依赖 (Modality Dependency)
模型对不同输入模态的依赖程度。
在AVTrustBench中用于评估模型在音视频模态上的依赖性。
CAVPref
一种音视频偏好优化策略，提升模型鲁棒性。
用于提升音视频LLM在AVTrustBench上的表现。
AVTrustBench
评估音视频LLM的基准，包含600K样本和9个任务。
用于全面评估音视频LLM的能力。
开放问题 这项研究留下的未解疑问
- 1 如何在复杂音视频场景下提升模型的组合推理能力？
- 2 如何优化CAVPref策略以适应更多任务？
应用场景
近期应用
智能监控
通过提升音视频LLM的鲁棒性，提高监控系统的异常检测能力。
远期愿景
自动驾驶
通过更好的音视频理解，提升自动驾驶系统的安全性和可靠性。
原文摘要
With the rapid advancement of Multi-modal Large Language Models (MLLMs), several diagnostic benchmarks have recently been developed to assess these models' multi-modal reasoning proficiency. However, these benchmarks are restricted to assessing primarily the visual aspect and do not examine the holistic audio-visual (AV) understanding. Moreover, currently, there are no benchmarks that investigate the capabilities of AVLLMs to calibrate their responses when presented with perturbed inputs. To this end, we introduce Audio-Visual Trustworthiness assessment Benchmark (AVTrustBench), comprising 600K samples spanning over 9 meticulously crafted tasks, evaluating the capabilities of AVLLMs across three distinct dimensions: Adversarial attack, Compositional reasoning, and Modality-specific dependency. Using our benchmark we extensively evaluate 13 state-of-the-art AVLLMs. The findings reveal that the majority of existing models fall significantly short of achieving human-like comprehension, offering valuable insights for future research directions. To alleviate the limitations in the existing approaches, we further propose a robust, model-agnostic calibrated audio-visual preference optimization based training strategy CAVPref, obtaining a gain up to 30.19% across all 9 tasks. We will publicly release our code and benchmark to facilitate future research in this direction.