XModBench: Benchmarking Cross-Modal Capabilities and Consistency in Omni-Language Models
XModBench评估Gemini 2.5 Pro模型的跨模态一致性，发现其在空间和时间推理上准确率不足60%。
核心发现
方法论
XModBench通过多项选择题形式，评估音频、视觉和文本的跨模态一致性。其设计涵盖五大任务领域，包括感知、空间推理、时间推理、语言理解和外部知识。每个问题在六种模态配置中呈现，确保语义一致性。
关键结果
- Gemini 2.5 Pro在空间和时间推理任务中的准确率低于60%，显示出在这些领域的显著不足。
- 在音频作为信息载体时，模型性能显著下降，表明音频模态仍是薄弱环节。
- 当视觉作为上下文时，模型的一致性低于文本上下文，揭示了方向性不平衡。
研究意义
XModBench为评估和改进跨模态能力提供了一个基础工具，揭示了当前大语言模型在真正的模态不变推理方面的不足。这对于推动多模态模型的进一步研究和应用具有重要意义。
技术贡献
XModBench首次系统性地覆盖了所有六种模态组合，并引入了模态差异和方向性不平衡的诊断指标，为跨模态一致性提供了新的评估标准。
新颖性
XModBench是首个专门设计用于评估三模态一致性的基准，填补了现有基准在模态一致性评估方面的空白。
局限性
- 模型在处理音频信息时表现不佳，可能由于音频数据的复杂性和多样性。
- 在视觉作为上下文时，模型的一致性较低，可能因为视觉信息的多义性。
未来方向
未来研究可以探索改进音频模态处理的技术，增强模型在不同模态下的对称性，并开发更具鲁棒性的训练策略。
AI 总览摘要
随着大语言模型的发展，跨模态能力成为一个重要的研究方向。然而，现有的基准测试主要关注一般的跨模态问答能力，而忽视了模态不变推理和模态特定偏差的问题。
XModBench通过设计一个大规模的三模态基准，系统性地测量跨模态一致性。其包含60,828个多项选择题，覆盖五大任务领域，并在六种模态组合中进行测试。实验结果表明，即使是最强的Gemini 2.5 Pro模型，在空间和时间推理上仍然表现不佳，准确率低于60%。
这些发现表明，当前的大语言模型在真正的模态不变推理方面仍有很长的路要走。XModBench为评估和改进跨模态能力提供了一个基础工具，并将数据和评估工具公开，促进该领域的进一步研究。
深度分析
研究背景
近年来，跨模态大语言模型（OLLMs）在统一音频、视觉和文本理解方面取得了显著进展。然而，尽管模态覆盖范围扩大，是否实现了真正的模态不变推理仍是一个关键问题。现有的基准测试主要关注跨模态问答能力，而忽视了模态一致性。
核心问题
核心问题在于评估OLLMs是否在不同模态下保持一致的预测结果，即模态不变推理。当前的模型是否依赖于特定模态的表面特征而非共享的语义表示，这仍不明确。
核心创新
XModBench通过设计一个三模态基准，首次系统性地评估跨模态一致性。其创新之处在于覆盖所有六种模态组合，并引入模态差异和方向性不平衡的诊断指标。
方法详解
- �� XModBench设计为多项选择题，包含上下文和候选项。
- �� 系统性地排列音频、视觉和文本，生成六种模态配置。
- �� 覆盖五大任务领域，确保广泛的领域覆盖和细粒度的诊断。
实验设计
实验使用XModBench评估多种OLLMs，重点分析任务能力、模态差异和方向性不平衡。结果显示，模型在感知和语言任务上表现较好，但在空间和时间推理上表现不佳。
结果分析
实验结果表明，当前的OLLMs在空间和时间推理任务中准确率低于60%，特别是在音频作为信息载体时性能显著下降。
应用场景
XModBench可用于评估和改进OLLMs的跨模态能力，特别是在需要模态不变推理的应用场景中，如多模态人机交互和自动驾驶。
局限与展望
当前模型在处理音频信息时表现不佳，可能由于音频数据的复杂性。视觉作为上下文时的一致性较低，可能因为视觉信息的多义性。
通俗解读 非专业人士也能看懂
想象你在一个三合一的游乐园里，有视觉、听觉和文字游戏。每个游戏都需要你用不同的感官来识别相同的事物。XModBench就像是这个游乐园的管理员，确保每个游戏的规则一致，测试你的感官是否能在不同的游戏中保持一致的表现。
简单解释 像给14岁少年讲一样
想象你在玩一个超级酷的游戏，游戏里有声音、图片和文字。你的任务是找到这些不同形式的信息之间的联系。XModBench就像是游戏的裁判，帮助你判断你是否在这些不同的形式中找到了相同的答案。是不是很有趣？
术语表
跨模态 (Cross-modal)
指涉及多种感官或信息形式的交互，如视觉、听觉和文本。
在论文中用于描述模型处理不同模态信息的能力。
模态一致性 (Modality Consistency)
指模型在不同模态下保持稳定预测的能力。
用于评估模型在不同模态下的表现一致性。
Gemini 2.5 Pro
一种先进的跨模态大语言模型，专注于音频、视觉和文本的统一理解。
作为实验中性能最强的模型之一进行测试。
模态差异 (Modality Disparity)
指模型在不同模态下性能的差异，揭示了对特定模态的依赖。
用于诊断模型在不同模态下的表现差异。
方向性不平衡 (Directional Imbalance)
指模型在不同上下文和候选模态组合下表现的不对称性。
用于分析模型在不同模态组合下的表现不对称性。
开放问题 这项研究留下的未解疑问
- 1 如何提高模型在音频模态下的表现？当前方法在处理音频数据的复杂性上仍显不足。
- 2 如何实现真正的模态不变推理？现有模型在不同模态下的一致性仍需改进。
应用场景
近期应用
多模态人机交互
通过改进跨模态一致性，提升人机交互系统的自然性和准确性。
远期愿景
自动驾驶
增强自动驾驶系统在不同感知模态下的决策一致性，提高安全性。
原文摘要
Omni-modal large language models (OLLMs) aim to unify audio, vision, and text understanding within a single framework. While existing benchmarks primarily evaluate general cross-modal question-answering ability, it remains unclear whether OLLMs achieve modality-invariant reasoning or exhibit modality-specific biases. We introduce XModBench, a large-scale tri-modal benchmark explicitly designed to measure cross-modal consistency. XModBench comprises 60,828 multiple-choice questions spanning five task families and systematically covers all six modality compositions in question-answer pairs, enabling fine-grained diagnosis of an OLLM's modality-invariant reasoning, modality disparity, and directional imbalance. Experiments show that even the strongest model, Gemini 2.5 Pro, (i) struggles with spatial and temporal reasoning, achieving less than 60% accuracy, (ii) reveals persistent modality disparities, with performance dropping substantially when the same semantic content is conveyed through audio rather than text, and (iii) shows systematic directional imbalance, exhibiting lower consistency when vision serves as context compared to text. These findings indicate that current OLLMs remain far from truly modality-invariant reasoning and position XModBench as a fundamental diagnostic tool for evaluating and improving cross-modal competence. All data and evaluation tools will be available at https://xingruiwang.github.io/projects/XModBench/.