核心发现
方法论
ACPO是一种双轴偏好学习框架，通过输出对比目标惩罚视觉描述伪装成音频事实，并通过输入对比目标交换音轨以明确惩罚对真实音频信号不变的生成。
关键结果
- ACPO在AVHBench数据集上提高了音频幻觉检测的准确性，达到79.9%的准确率，显著优于基线模型。
- 在CMM数据集的音频语言任务中，ACPO实现了81.3%的准确率，显示出对音频信号的更好理解。
- 通过消融实验验证，ACPO在不同架构下均表现出一致的改进。
研究意义
该研究为音频视觉语言模型提供了更可靠的音频基础，解决了长期存在的视觉主导问题，推动了多模态模型在真实世界应用中的可信度。
技术贡献
ACPO引入了对比性偏好优化，突破了现有方法仅关注单一模态的局限，提供了新的理论保证和工程可能性。
新颖性
ACPO首次在音频视觉语言模型中引入双轴对比学习，显著减少了视频驱动的音频幻觉，与现有方法相比具有根本创新。
局限性
- ACPO在处理极端音频-视觉不匹配时可能表现不佳，因为模型仍可能依赖视觉线索。
- 需要大量标注数据进行训练，增加了数据准备的复杂性。
未来方向
未来可以探索ACPO在更多多模态任务中的应用，研究更高效的数据标注方法以降低训练成本。
AI 总览摘要
近年来，音频视觉语言模型（AVLMs）在多模态任务中取得了显著进展，但其可靠性受到跨模态幻觉的限制。特别是视频驱动的音频幻觉问题，模型常常利用视觉捷径来生成预期的声音，忽略真实的音频证据。为了解决这一问题，研究者提出了音频对比偏好优化（ACPO）方法。该方法通过引入输出对比目标和输入对比目标，显著减少了视觉描述伪装成音频事实的情况。
实验结果表明，ACPO在多个基准数据集上表现出色，提高了音频幻觉检测的准确性，并在不同架构下均表现出一致的改进。这一方法不仅增强了模型对音频信号的理解，还在音频视觉语言模型的可信度方面取得了突破。
尽管ACPO在减少音频幻觉方面取得了显著进展，但在处理极端音频-视觉不匹配时仍存在挑战。未来的研究可以探索更高效的数据标注方法，以降低训练成本，并将ACPO应用于更多的多模态任务中。
深度分析
研究背景
音频视觉语言模型（AVLMs）是对视觉语言模型（VLMs）的扩展，能够同时处理文本、视频和音频。近年来，这一领域取得了显著进展，尤其是在自动驾驶和辅助技术等实际应用中。然而，AVLMs的可靠性受到跨模态幻觉的限制，特别是视频驱动的音频幻觉问题。
核心问题
AVLMs在处理音频和视频时，常常依赖视觉线索生成音频描述，导致音频幻觉。这种现象严重影响了模型的可信度，因为模型生成的内容可能与真实音频不符。
核心创新
ACPO通过引入双轴对比学习框架，显著减少了视频驱动的音频幻觉。其创新之处在于同时惩罚视觉描述伪装成音频事实和对真实音频信号不变的生成。
方法详解
- �� 输出对比目标：通过交换音轨，惩罚视觉驱动的音频描述。
- �� 输入对比目标：评估不同音轨下的文本输出，惩罚对音频信号不变的生成。
- �� 轻量级框架：仅微调音频投影层，增强音频基础。
实验设计
实验在AVHBench和CMM数据集上进行，使用多种基线模型进行比较。关键超参数包括学习率和批量大小。消融实验验证了ACPO在不同架构下的有效性。
结果分析
ACPO在AVHBench数据集上提高了音频幻觉检测的准确性，达到79.9%。在CMM数据集的音频语言任务中，ACPO实现了81.3%的准确率，显示出对音频信号的更好理解。
应用场景
ACPO可用于增强自动驾驶和辅助技术中的音频信号处理能力，要求高质量的标注数据以确保训练效果。
局限与展望
ACPO在处理极端音频-视觉不匹配时可能表现不佳，且需要大量标注数据进行训练。未来研究可探索更高效的数据标注方法。
通俗解读 非专业人士也能看懂
想象你在一个厨房里，视觉是你看到的食材，音频是你听到的烹饪声音。通常，你可能会根据看到的食材来猜测正在做什么菜，而忽略了实际的烹饪声音。这就像是视觉主导的音频幻觉。ACPO方法就像一个聪明的厨师，能够根据实际的烹饪声音来判断正在做什么菜，而不是仅仅依赖于看到的食材。
简单解释 像给14岁少年讲一样
想象你在玩一个游戏，游戏中有很多不同的声音和画面。通常，你可能会根据画面来猜测游戏中的声音，但有时候画面和声音并不匹配。ACPO就像一个超级聪明的游戏玩家，它能根据实际的声音来判断游戏中的情况，而不是被画面所迷惑。这样，你就能更准确地理解游戏中的情节！
术语表
音频视觉语言模型 (AVLM)
能够同时处理文本、视频和音频的模型，扩展了视觉语言模型的能力。
用于多模态任务，如自动驾驶和辅助技术。
跨模态幻觉
模型生成的内容与真实输入不符，通常是因为依赖于错误的模态线索。
在AVLMs中，特别是视频驱动的音频幻觉。
音频对比偏好优化 (ACPO)
一种双轴对比学习框架，旨在减少音频幻觉。
通过惩罚视觉描述伪装成音频事实来增强音频基础。
输出对比目标
通过交换音轨来惩罚视觉驱动的音频描述。
ACPO方法中的关键步骤。
输入对比目标
评估不同音轨下的文本输出，惩罚对音频信号不变的生成。
ACPO方法中的关键步骤。
开放问题 这项研究留下的未解疑问
- 1 如何在极端音频-视觉不匹配情况下提高ACPO的表现？现有方法在处理此类情况时表现不佳。
- 2 如何减少ACPO对大量标注数据的依赖？这将有助于降低训练成本。
应用场景
近期应用
自动驾驶
增强车辆对环境音频信号的理解，减少视觉主导的误判。
远期愿景
智能助理
提高智能助理在多模态环境中的响应准确性，增强用户体验。
原文摘要
While Audio-Visual Language Models (AVLMs) have achieved remarkable progress over recent years, their reliability is bottlenecked by cross-modal hallucination. A particularly pervasive manifestation is video-driven audio hallucination: models routinely exploit visual shortcuts to hallucinate expected sounds, discarding true auditory evidence. To counteract this deeply ingrained visual dominance, we propose Audio-Contrastive Preference Optimization (ACPO). This dual-axis preference learning framework introduces an output-contrastive objective to penalize visual descriptions masquerading as audio facts, alongside an input-contrastive objective that swaps audio tracks to explicitly penalize generation invariant to the true auditory signal. Extensive experiments demonstrate that ACPO establishes highly faithful audio grounding and mitigates audio hallucination.