HallusionBench: An Advanced Diagnostic Suite for Entangled Language Hallucination and Visual Illusion in Large Vision-Language Models
HallusionBench是针对大视觉-语言模型的幻觉与错觉诊断基准，评估模型在图像推理中的表现。
核心发现
方法论
本研究设计了HallusionBench，包含346张图片与1129个由专家精心设计的问题，涵盖视觉依赖与补充两类问题。通过控制组结构，分析模型的响应偏向、逻辑一致性与失败模式。评估了15个主流LVLMs，发现GPT-4V的Question-Pair准确率为31.42%，远低于其他模型。利用定量分析揭示了语言幻觉与视觉错觉的主要成因，结合案例深入探讨模型在复杂推理中的局限。
关键结果
- GPT-4V在问答对中的准确率为31.42%，显著优于其他模型（均低于16%），显示出模型在复杂视觉推理中的巨大挑战。
- 模型普遍表现出语言偏差，尤其在没有视觉输入时仍倾向于给出肯定答案，反映出语言幻觉的普遍存在。
- 通过控制组设计，识别出视觉错觉多发生在模型未能正确理解图像细节时，提示视觉信息的提取与理解仍需改进。
研究意义
本研究首次系统性地量化LVLMs中的幻觉与错觉现象，为模型的鲁棒性提升提供理论基础。通过细粒度的失败分析，揭示了当前模型在视觉推理中的瓶颈，推动多模态模型的未来发展，具有重要的学术与应用价值。
技术贡献
提出了结合控制组设计的诊断框架，创新性地将幻觉类型细分为语言幻觉与视觉错觉，利用定量指标进行系统分析。引入人类专家编辑的图像与问题，增强评估的可靠性。基于此，推动了多模态模型在复杂推理任务中的性能提升路径。
新颖性
首次提出专门针对视觉错觉与语言幻觉的诊断基准，结合人类编辑的样本与控制组结构，系统分析模型在多模态推理中的失败机制，填补了现有评估工具的空白。
局限性
- 目前基准主要集中在特定类型的幻觉与错觉，尚未覆盖所有潜在的推理失误场景。
- 模型评估依赖于GPT-4的判定，可能存在一定偏差，未来需结合人工评审验证。
- 图像编辑策略虽多样，但仍有限制，未来应引入更丰富的图像变换以模拟真实场景中的复杂干扰。
未来方向
未来将扩展样本多样性，涵盖更多视觉模态与复杂场景，结合多模态训练策略，提升模型对幻觉与错觉的鲁棒性。同时，探索更先进的诊断指标与解释机制，推动多模态理解的深入研究。
AI 总览摘要
近年来，随着大规模视觉-语言模型（LVLMs）的快速发展，模型在图像理解与推理方面展现出巨大潜力。然而，幻觉（hallucination）与错觉（illusion）问题成为制约其应用的关键瓶颈。幻觉指模型在缺乏视觉依据时依赖先验知识产生虚假结论，而错觉则源于对视觉信息的误解，导致错误推理。为系统诊断这些问题，本文提出了HallusionBench，一套由专家手工设计的多模态基准，涵盖346张图片与1129个问题，涉及多样的视觉格式与内容。通过控制组设计，分析模型在视觉推理中的偏差、逻辑一致性与失败类型。评估了15个主流LVLMs，发现GPT-4V的问答对准确率为31.42%，远低于其他模型的表现。深入分析显示，模型普遍存在语言偏差，尤其在无视觉输入时仍倾向于给出肯定答案，反映出语言幻觉的普遍性。同时，视觉错觉多发生在模型未能正确理解图像细节时，提示视觉信息提取仍需优化。该基准不仅揭示了模型在复杂推理任务中的局限，也为未来模型的鲁棒性提升提供了重要方向。通过案例分析，本文强调了多模态模型在真实场景中的潜在风险，推动了多模态理解与诊断技术的发展。未来，将通过扩展样本多样性和引入更复杂的图像干扰，持续推动多模态模型的性能提升与安全性保障。
深度分析
研究背景
多模态学习近年来取得显著进展，尤其是大规模视觉-语言模型（LVLMs）如GPT-4V、LLaVA等，展现出在图像理解、问答、推理等任务中的强大能力。早期工作如VisualBERT、UNITER等，主要关注单一任务的视觉识别或描述，随着模型规模扩大，出现多模态预训练方法，推动模型在复杂推理中的应用。然而，模型在实际部署中面临幻觉与错觉问题，表现为虚假信息生成或对视觉信息的误解，严重影响模型的可靠性。现有评估工具多集中在对象识别或简单问答，缺乏对复杂推理失败的系统诊断。近年来，诸如MMBench、SEED-Bench等基准开始关注多模态理解，但大多未能深入分析模型的幻觉类型。本文提出的HallusionBench，结合人类编辑样本与控制组设计，旨在填补这一空白，推动多模态模型在复杂场景中的鲁棒性。
核心问题
当前LVLMs在复杂推理任务中表现出明显的局限，尤其是在面对多样化视觉内容时容易产生幻觉与错觉。这些问题源于模型对视觉细节的理解不足、语言偏差以及训练数据的局限，导致模型在真实应用中可能产生虚假或误导性结论。特别是在医疗、交通等关键领域，模型的错误推理可能引发严重后果。因此，系统诊断模型在不同场景下的失败类型，成为提升模型可靠性的关键。现有评估工具多偏重于准确率，缺乏对失败机制的深入分析，难以指导模型改进。
核心创新
本研究的核心创新在于提出HallusionBench，结合控制组设计与人类专家编辑样本，系统分析模型在视觉推理中的幻觉与错觉。创新点包括：• 设计多样化的视觉问题类别（依赖与补充），覆盖复杂场景；• 引入控制组结构，区分模型偏差与理解失误；• 采用定量指标评估模型的偏向性、逻辑一致性与失败类型；• 利用人类编辑的图像增强样本的多样性与鲁棒性。这些创新使得模型的失败机制得以细粒度解析，为未来模型优化提供理论依据。
方法详解
- �� 构建多模态数据集：包括346张图片，涵盖多主题与格式，设计1129个问答对，分为视觉依赖与补充两类。
- �� 控制组设计：每个问题配备原始或编辑图像，确保模型响应的变化反映真实理解能力。
- �� 诊断指标：包括问答准确率、偏差比、逻辑一致性、幻觉类型（语言或视觉）分类。
- �� 采用GPT-4作为评估判定工具，通过多轮判定确保结果一致性。
- �� 案例分析：结合模型输出与控制组反应，识别幻觉与错觉的根源。
实验设计
- �� 评估模型：包括GPT-4V、LLaVA-1.5、Gemini Pro Vision等15个主流LVLMs。
- �� 评估指标：问答对准确率（qAcc）、问题对整体准确率（fAcc）、硬样本准确率。
- �� 实验设置：采用人类专家编辑样本，模拟复杂推理场景，分析模型在不同类别问题上的表现。
- �� 进行消融实验，验证控制组设计的有效性与不同模型的鲁棒性。
结果分析
- �� GPT-4V在问答对中的准确率为31.42%，显著优于其他模型（低于16%），显示出模型在复杂推理中的巨大挑战。
- �� 多数模型表现出明显的语言偏差，尤其在无视觉输入时仍倾向于给出肯定答案，反映出普遍存在的语言幻觉。
- �� 视觉错觉多发生在模型未能正确理解图像细节时，提示视觉信息提取与理解仍需改进，模型在复杂场景中的鲁棒性不足。
应用场景
- �� 关键行业：医疗影像分析、自动驾驶、智能监控等领域，模型需具备高可靠性。
- �� 教育与科研：提供深度诊断工具，推动多模态理解技术发展。
- �� 未来：结合多模态训练与解释机制，提升模型在真实复杂场景中的表现与安全性。
局限与展望
- �� 目前基准主要集中在特定类型幻觉与错觉，未涵盖所有推理失误场景。
- �� 评估依赖GPT-4判定，可能存在偏差，需结合人工验证。
- �� 图像编辑策略有限，未来应引入更复杂的干扰以模拟真实环境中的复杂干扰。
通俗解读 非专业人士也能看懂
想象你在一个工厂里工作，工厂里有很多不同的机器和流程。每台机器都负责特定的任务，比如装配、检验或包装。有时候，机器会出错，比如误装了错误的零件，或者误以为某个产品符合标准。这些错误就像模型中的幻觉和错觉——幻觉是机器在没有正确信息的情况下自己猜测出来的虚假结果，错觉则是机器误解了正确的图像或数据，导致判断错误。为了让工厂更可靠，工程师会设计测试，找出哪些机器容易出错，原因是什么，然后改进流程。这个研究就像是在检测和修理AI工厂里的“机器”，确保它们能正确理解和处理每个任务，从而避免虚假信息和误判。
简单解释 像给14岁少年讲一样
想象你在学校的科学实验室里做实验。有时候，你会看到一些奇怪的现象，比如灯光变色或者水变成了不同的颜色。这些奇怪的现象就像AI模型中的幻觉和错觉。幻觉就像你在没有看到实际情况时，凭借自己的猜测说“一定是这样”，但其实并没有证据。而错觉则是你看到的东西其实是错的，比如你看到的镜子里的倒影其实是错的。科学家们想找出这些“错觉”发生的原因，就像你在实验中找出为什么会出现奇怪的现象一样。他们设计了很多测试，看看模型在哪些情况下会“猜错”，然后想办法让它们变得更聪明、更可靠。通过这些努力，未来的AI可以像你一样，既能理解真实的世界，又不会被假象迷惑。
术语表
Hallucination（幻觉）
模型在没有视觉依据时产生虚假结论的现象，属于模型推理中的偏差。
描述模型在缺乏视觉信息时的虚假推断。
Visual Illusion（视觉错觉）
模型误解真实视觉信息，导致错误推理，表现为对图像的误判。
模型未能正确理解图像细节时的表现。
Question-Pair Accuracy（问答对准确率）
模型在成对问题中同时正确回答的比例，用于衡量模型一致性。
评估模型在复杂推理中的表现。
Control Group（控制组）
在实验中设计的对照样本，用于分析模型偏差与理解能力。
通过编辑图像或问题，检测模型的响应变化。
Language Bias（语言偏差）
模型过度依赖先验知识或语言模式，忽略视觉信息的现象。
在模型回答中表现出的偏向性。
开放问题 这项研究留下的未解疑问
- 1 如何进一步量化视觉错觉的类型与严重程度，提升诊断的细粒度和解释性。
- 2 模型在极端复杂场景下的推理能力极限尚未明确，需设计更具挑战性的样本。
应用场景
近期应用
模型鲁棒性评估工具
为研究人员提供系统诊断模型幻觉与错觉的工具，帮助优化多模态模型。
多模态模型调试平台
支持模型在复杂场景下的调试与改进，提升实际应用中的可靠性。
远期愿景
安全可信的AI系统
推动多模态模型在医疗、交通等关键领域的安全应用，减少虚假信息风险。
原文摘要
We introduce HallusionBench, a comprehensive benchmark designed for the evaluation of image-context reasoning. This benchmark presents significant challenges to advanced large visual-language models (LVLMs), such as GPT-4V(Vision), Gemini Pro Vision, Claude 3, and LLaVA-1.5, by emphasizing nuanced understanding and interpretation of visual data. The benchmark comprises 346 images paired with 1129 questions, all meticulously crafted by human experts. We introduce a novel structure for these visual questions designed to establish control groups. This structure enables us to conduct a quantitative analysis of the models' response tendencies, logical consistency, and various failure modes. In our evaluation on HallusionBench, we benchmarked 15 different models, highlighting a 31.42% question-pair accuracy achieved by the state-of-the-art GPT-4V. Notably, all other evaluated models achieve accuracy below 16%. Moreover, our analysis not only highlights the observed failure modes, including language hallucination and visual illusion, but also deepens an understanding of these pitfalls. Our comprehensive case studies within HallusionBench shed light on the challenges of hallucination and illusion in LVLMs. Based on these insights, we suggest potential pathways for their future improvement. The benchmark and codebase can be accessed at https://github.com/tianyi-lab/HallusionBench.