核心发现
方法论
MoD-DPO采用模态解耦的直接偏好优化框架，通过引入模态感知正则化项，确保模型对无关模态的扰动不敏感，而对相关模态的扰动敏感，从而减少意外的跨模态交互。此外，通过语言偏见去除惩罚，降低仅文本响应的幻觉倾向。
关键结果
- MoD-DPO在AVHBench基准上将准确率提升至88.19%，相比于OmniDPO提高了约3%。
- 在CMM基准上，MoD-DPO++在语言主导任务中表现显著提升，显示出语言偏见去除的有效性。
- 通过消融实验验证了模态解耦和语言偏见去除对提升模型性能的关键作用。
研究意义
该研究通过减少跨模态幻觉，提高了多模态基础模型的可靠性和稳健性，对学术界和工业界具有重要意义。它解决了长期以来多模态模型中由于语言偏见和模态间虚假关联导致的幻觉问题，为构建更可靠的多模态系统提供了新思路。
技术贡献
MoD-DPO通过引入模态解耦的正则化项和语言偏见去除机制，显著区别于现有的偏好优化方法。该方法不仅在理论上提供了更强的模态对齐保证，还在工程上展示了更高效的多模态模型训练路径。
新颖性
MoD-DPO首次将模态解耦引入偏好优化中，显著减少了跨模态幻觉。与现有方法相比，它通过明确的模态感知正则化项，创新性地解决了模态间虚假关联的问题。
局限性
- 在某些复杂的多模态场景下，模型仍可能出现幻觉，尤其是当模态间关联较弱时。
- 对大规模数据集的训练时间较长，计算成本较高。
未来方向
未来的研究可以探索更高效的模态解耦方法，进一步减少计算成本。此外，还可以研究如何在更多样化的多模态任务中应用该方法。
AI 总览摘要
近年来，多模态大语言模型在视听理解任务中取得了显著进展。然而，这些模型仍然容易受到跨模态幻觉的影响，这种幻觉通常源于虚假关联和语言偏见。在此背景下，本文提出了一种新的偏好优化框架——MoD-DPO，通过模态解耦和语言偏见去除，显著减少了跨模态幻觉。
MoD-DPO引入了模态感知正则化项，确保模型对无关模态的扰动不敏感，而对相关模态的扰动敏感，从而减少意外的跨模态交互。此外，通过语言偏见去除惩罚，降低仅文本响应的幻觉倾向。实验结果表明，MoD-DPO在多个视听幻觉基准上表现优异，准确率显著提升。
该研究不仅在理论上提供了更强的模态对齐保证，还在工程上展示了更高效的多模态模型训练路径。未来的研究可以探索更高效的模态解耦方法，进一步减少计算成本，并在更多样化的多模态任务中应用该方法。
深度分析
研究背景
近年来，多模态大语言模型在视听理解任务中取得了显著进展。这些模型通过整合视觉、音频和文本信息，实现了跨模态的强大理解能力。然而，由于模态间虚假关联和语言偏见，这些模型仍然容易出现跨模态幻觉，影响了模型的可靠性和稳健性。
核心问题
跨模态幻觉是多模态模型中的一个核心问题，通常源于模态间的虚假关联和语言偏见。这种幻觉不仅影响模型的准确性，还可能导致错误的决策和推断。因此，如何有效减少跨模态幻觉是当前多模态模型研究中的一个重要挑战。
核心创新
MoD-DPO通过引入模态解耦的偏好优化框架，创新性地解决了跨模态幻觉问题。该方法通过模态感知正则化项，确保模型对无关模态的扰动不敏感，而对相关模态的扰动敏感。此外，通过语言偏见去除惩罚，降低仅文本响应的幻觉倾向。
方法详解
- �� 引入模态感知正则化项，确保模型对无关模态的扰动不敏感。
- �� 通过语言偏见去除惩罚，降低仅文本响应的幻觉倾向。
- �� 采用自动生成的偏好数据集进行优化，确保模型在不同模态下的稳定性。
实验设计
实验在多个视听幻觉基准上进行，包括AVHBench和CMM。使用的基准包括多种视听任务，评估模型的跨模态幻觉减少效果。实验结果表明，MoD-DPO在多个基准上表现优异，准确率显著提升。
结果分析
MoD-DPO在AVHBench基准上将准确率提升至88.19%，相比于OmniDPO提高了约3%。在CMM基准上，MoD-DPO++在语言主导任务中表现显著提升，显示出语言偏见去除的有效性。
应用场景
该方法可直接应用于多模态信息处理系统，如智能助手、自动驾驶和多媒体内容分析等领域。通过减少跨模态幻觉，提高了系统的可靠性和稳健性。
局限与展望
尽管MoD-DPO在减少跨模态幻觉方面表现优异，但在某些复杂的多模态场景下，模型仍可能出现幻觉。此外，该方法对大规模数据集的训练时间较长，计算成本较高。
通俗解读 非专业人士也能看懂
想象你在厨房里做饭，厨房里有很多工具和食材。你需要根据不同的食材选择合适的工具，比如用刀切菜，用锅炒菜。MoD-DPO就像一个聪明的厨师，它能根据不同的食材选择合适的工具，避免用错工具导致的错误。通过这种方式，它减少了不必要的错误，提高了做饭的效率和准确性。
简单解释 像给14岁少年讲一样
嘿，小伙伴们！想象一下你在玩一个超级酷的游戏，这个游戏需要你同时用眼睛、耳朵和手来完成任务。有时候，游戏会给你一些混乱的信息，比如让你听到不存在的声音或者看到不存在的东西。MoD-DPO就像一个超级助手，它能帮你过滤掉这些混乱的信息，让你专注于真正重要的任务。这样，你就能更快地完成游戏任务，得分更高！
术语表
跨模态幻觉 (Cross-modal Hallucination)
指多模态模型在处理不同模态信息时，因模态间虚假关联或语言偏见而产生的错误感知。
在本文中，跨模态幻觉是主要研究对象，MoD-DPO旨在减少这种幻觉。
模态解耦 (Modality Decoupling)
通过分离不同模态的信息，减少模态间的干扰和虚假关联。
MoD-DPO通过模态解耦减少跨模态幻觉。
语言偏见 (Language Bias)
多模态模型过度依赖语言模态，忽视其他模态信息的现象。
MoD-DPO通过语言偏见去除惩罚，降低语言偏见的影响。
偏好优化 (Preference Optimization)
通过优化模型的偏好选择，提高模型在特定任务上的表现。
MoD-DPO采用偏好优化框架，提升模型的准确性。
正则化项 (Regularization Term)
在优化过程中加入的约束条件，用于防止模型过拟合。
MoD-DPO引入模态感知正则化项，确保模型的稳定性。
开放问题 这项研究留下的未解疑问
- 1 如何在更大规模的数据集上高效应用MoD-DPO？
- 2 是否有更好的方法来进一步减少语言偏见对多模态模型的影响？
应用场景
近期应用
智能助手
通过减少跨模态幻觉，提高智能助手在多模态信息处理中的准确性和可靠性。
远期愿景
自动驾驶
在自动驾驶系统中应用MoD-DPO，减少传感器数据融合时的错误感知，提高行车安全性。
原文摘要
Omni-modal large language models (omni LLMs) have recently achieved strong performance across audiovisual understanding tasks, yet they remain highly susceptible to cross-modal hallucinations arising from spurious correlations and dominant language priors. In this work, we propose Modality-Decoupled Direct Preference Optimization (MoD-DPO), a simple and effective framework for improving modality grounding in omni LLMs. MoD-DPO introduces modality-aware regularization terms that explicitly enforce invariance to corruptions in irrelevant modalities and sensitivity to perturbations in relevant modalities, thereby reducing unintended cross-modal interactions. To further mitigate over-reliance on textual priors, we incorporate a language-prior debiasing penalty that discourages hallucination-prone text-only responses. Extensive experiments across multiple audiovisual hallucination benchmarks demonstrate that MoD-DPO consistently improves perception accuracy and hallucination resistance, outperforming previous preference optimization baselines under similar training budgets. Our findings underscore the importance of modality-faithful alignment and demonstrate a scalable path toward more reliable and resilient multimodal foundation models.