核心发现
方法论
AVCD是一种新颖的解码框架，利用注意力分布动态识别不占优势的模态，并通过注意力掩码生成扰动输出logits。它重新定义了对比解码框架，以适应音频、视觉和文本输入的三模态环境。
关键结果
- 在AVHBench数据集上，AVCD使VideoLLaMA2的准确率提高了2%，video-SALMONN提高了7%。
- 在MUSIC-AVQA数据集上，AVCD的准确率达到81.58%，显著优于其他方法。
- 通过熵引导的自适应解码，AVCD在保证准确性的同时减少了计算开销。
研究意义
AVCD的提出解决了多模态大语言模型中幻觉问题，特别是在音视频结合的场景中。它为多模态交互提供了更可靠的解码策略，提升了模型在复杂任务中的表现。
技术贡献
AVCD引入了动态模态识别和注意力掩码策略，与现有的固定模态扰动方法相比，提供了更灵活的解码方案。它还通过熵引导的自适应解码提高了计算效率。
新颖性
AVCD首次在音视频大语言模型中应用对比解码，动态识别模态优势并进行掩码处理，显著减少了幻觉现象。
局限性
- AVCD在处理极端噪声环境时可能表现不佳，因为其依赖于注意力分布的准确性。
- 在高计算负载的情况下，熵引导的自适应解码可能仍然存在性能瓶颈。
未来方向
未来工作可以探索AVCD在更多模态组合中的应用，如加入触觉或其他传感器数据。此外，进一步优化自适应解码策略以提高效率也是一个重要方向。
AI 总览摘要
多模态大语言模型（MLLMs）在处理复杂任务时展现了巨大的潜力，但幻觉问题仍然是一个主要挑战。现有的对比解码方法在视觉语言模型中取得了一定的成功，但在音视频大语言模型中效果有限，因为幻觉往往源于音频、视频和语言的单模态和跨模态组合。为了解决这一问题，本文提出了一种新的解码框架——音视频对比解码（AVCD）。
AVCD通过动态识别不占优势的模态并应用注意力掩码来生成扰动输出logits，从而抑制模态引发的幻觉。与以往固定扰动单一模态的方法不同，AVCD利用注意力分布来识别模态优势，并通过熵引导的自适应解码提高效率。实验结果表明，AVCD在多个数据集上均优于现有方法，特别是在AVHBench数据集上，VideoLLaMA2和video-SALMONN的准确率分别提高了2%和7%。
尽管AVCD在减少幻觉方面表现出色，但在极端噪声环境中可能面临挑战。未来的研究可以探索其在更多模态组合中的应用，并进一步优化解码策略以提高效率。AVCD的提出为多模态交互提供了更可靠的解码方案，具有重要的学术和工业意义。
深度分析
研究背景
多模态大语言模型（MLLMs）结合视觉和听觉输入，增强了模型理解和解决复杂任务的能力。然而，幻觉问题仍然是一个主要挑战，尤其是在音视频结合的场景中。现有的对比解码方法在视觉语言模型中取得了一定的成功，但在音视频大语言模型中效果有限，因为幻觉往往源于音频、视频和语言的单模态和跨模态组合。
核心问题
幻觉是指模型生成的偏差或事实错误的信息，这在多模态大语言模型中尤为突出。音视频大语言模型中的幻觉问题尤其复杂，因为它涉及音频、视频和语言的单模态和跨模态组合。
核心创新
AVCD通过动态识别不占优势的模态并应用注意力掩码来生成扰动输出logits，从而抑制模态引发的幻觉。与以往固定扰动单一模态的方法不同，AVCD利用注意力分布来识别模态优势，并通过熵引导的自适应解码提高效率。
方法详解
- �� 动态识别模态：利用注意力分布识别不占优势的模态。
- �� 注意力掩码：对不占优势的模态应用掩码，生成扰动输出logits。
- �� 熵引导自适应解码：根据模型预测的置信度，选择性跳过不必要的解码步骤。
实验设计
实验在多个数据集上进行，包括MUSIC-AVQA和AVHBench。通过与现有方法的对比，验证了AVCD在减少幻觉方面的有效性。实验还评估了熵引导自适应解码对计算效率的提升。
结果分析
AVCD在AVHBench数据集上使VideoLLaMA2的准确率提高了2%，video-SALMONN提高了7%。在MUSIC-AVQA数据集上，AVCD的准确率达到81.58%，显著优于其他方法。
应用场景
AVCD可用于需要多模态交互的复杂任务，如自动驾驶中的音视频数据分析、智能家居中的多模态人机交互等。
局限与展望
AVCD在处理极端噪声环境时可能表现不佳，因为其依赖于注意力分布的准确性。在高计算负载的情况下，熵引导的自适应解码可能仍然存在性能瓶颈。
通俗解读 非专业人士也能看懂
想象一个厨房，厨师需要同时处理多个任务：切菜、煮汤、烤面包。每个任务都需要不同的工具和注意力。AVCD就像一个聪明的厨师助手，它能识别哪个任务最需要关注，并帮助厨师分配注意力，确保每道菜都能完美完成。通过这种方式，AVCD减少了因过度依赖某一任务而导致的错误，就像避免了烤面包时忘记关火的情况。
简单解释 像给14岁少年讲一样
想象你在玩一个超级复杂的游戏，需要同时控制多个角色。每个角色都有自己的任务，比如一个在打怪，一个在收集资源，还有一个在解谜。AVCD就像一个超级聪明的游戏助手，它能告诉你哪个角色最需要你的注意力，这样你就不会因为只关注一个角色而导致其他角色出错。是不是很酷？
术语表
对比解码 (Contrastive Decoding)
一种通过对比原始logits和扰动logits来减少幻觉的方法。
用于减少多模态大语言模型中的幻觉。
注意力分布 (Attention Distribution)
在解码过程中，模型对不同模态的关注程度。
用于识别不占优势的模态。
熵引导自适应解码 (Entropy-Guided Adaptive Decoding)
根据模型预测的置信度，选择性跳过不必要的解码步骤。
提高解码效率。
模态 (Modality)
指音频、视频或文本等不同类型的数据输入。
在多模态大语言模型中涉及的输入类型。
幻觉 (Hallucination)
模型生成的偏差或事实错误的信息。
在多模态大语言模型中需要解决的问题。
开放问题 这项研究留下的未解疑问
- 1 如何在极端噪声环境中提高AVCD的性能？现有方法依赖于注意力分布的准确性，需探索更鲁棒的策略。
- 2 如何进一步优化熵引导自适应解码策略以提高计算效率？
应用场景
近期应用
自动驾驶
AVCD可用于分析自动驾驶中的音视频数据，提高决策的准确性和安全性。
智能家居
在智能家居中，AVCD可用于多模态人机交互，提升用户体验。
远期愿景
多模态AI系统
AVCD的应用可推动多模态AI系统的发展，实现更复杂的任务处理和决策。
原文摘要
Hallucination remains a major challenge in multimodal large language models (MLLMs). To address this, various contrastive decoding (CD) methods have been proposed that contrasts original logits with hallucinated logits generated from perturbed inputs. While CD has shown promise in vision-language models (VLMs), it is not well-suited for AV-LLMs, where hallucinations often emerge from both unimodal and cross-modal combinations involving audio, video, and language. These intricate interactions call for a more adaptive and modality-aware decoding strategy. In this paper, we propose Audio-Visual Contrastive Decoding (AVCD)-a novel, training-free decoding framework designed to model trimodal interactions and suppress modality-induced hallucinations in AV-LLMs. Unlike previous CD methods in VLMs that corrupt a fixed modality, AVCD leverages attention distributions to dynamically identify less dominant modalities and applies attentive masking to generate perturbed output logits. To support CD in a trimodal setting, we also reformulate the original CD framework to jointly handle audio, visual, and textual inputs. Finally, to improve efficiency, we introduce entropy-guided adaptive decoding, which selectively skips unnecessary decoding steps based on the model's confidence in its predictions. Extensive experiments demonstrate that AVCD consistently outperforms existing decoding methods. Especially, on the AVHBench dataset, it improves accuracy by 2% for VideoLLaMA2 and 7% for video-SALMONN, demonstrating strong robustness and generalizability. Our code is available at https://github.com/kaistmm/AVCD.