核心发现
方法论
本文提出LVLM-eHub，综合评估8个代表性模型，包括InstructBLIP和MiniGPT-4，覆盖6类多模态能力，如视觉问答和视觉常识，使用47个标准基准和在线竞技平台。
关键结果
- 结果1：InstructBLIP在域内任务表现优异，但在开放场景中泛化能力较差，表明过拟合问题。
- 结果2：使用中等规模指令数据的模型，如MiniGPT-4，会出现对象幻觉问题，导致描述与目标图像不一致。
- 结果3：多轮推理框架显著缓解对象幻觉问题，为未来评估方法提供方向。
研究意义
研究为多模态模型的全面评估提供了框架，揭示了当前评估指标的局限性，并为开发零样本技术提供了指导。
技术贡献
提出首个综合性评估基准，涵盖多模态能力的广泛测试，建立在线竞技平台，支持用户级别的开放场景评估。
新颖性
首次系统性揭示指令微调模型的过拟合和对象幻觉问题，并提出多轮推理框架作为解决方案。
局限性
- 局限1：评估基准主要基于现有任务，可能无法全面覆盖未来新兴任务。
- 局限2：在线竞技平台目前仅支持单轮对话，限制了复杂交互的评估。
- 局限3：部分模型的性能可能受限于训练数据规模和质量。
未来方向
未来可扩展评估基准以涵盖更多任务，优化竞技平台支持多轮对话，并探索缓解对象幻觉的通用方法。
AI 总览摘要
近年来，大型视觉语言模型（LVLM）在多模态学习领域取得了显著进展，但其能力缺乏系统性评估。LVLM-eHub通过评估8个代表性模型，揭示了指令微调模型的过拟合和对象幻觉问题。研究发现，InstructBLIP在域内任务表现优异，但在开放场景中泛化能力较差，而MiniGPT-4等模型则出现对象幻觉问题，导致描述与目标图像不一致。
为解决这些问题，研究提出了多轮推理框架，显著缓解对象幻觉问题，并为未来评估方法提供了方向。LVLM-eHub还建立了在线竞技平台，支持用户级别的开放场景评估，进一步验证模型性能。
研究为多模态模型的全面评估提供了框架，揭示了当前评估指标的局限性，并为开发零样本技术提供了指导。未来工作将扩展评估任务范围，优化平台功能，并探索更有效的评估方法。
深度分析
研究背景
多模态学习近年来受到广泛关注，代表性工作包括Flamingo和BLIP2，这些模型通过视觉和语言特征的高效对齐，在视觉问答和多模态对话等任务中表现出色。然而，现有研究主要关注模型性能提升，缺乏对其能力的全面评估。
核心问题
当前评估方法无法全面揭示LVLM的能力，尤其是在开放场景中。指令微调模型可能存在过拟合和对象幻觉问题，影响其泛化能力和实际应用。
核心创新
LVLM-eHub提出了综合性评估框架，覆盖6类多模态能力，并通过多轮推理框架缓解对象幻觉问题。此外，在线竞技平台提供了用户级别的开放场景评估。
方法详解
- �� 收集8个代表性模型，包括InstructBLIP和MiniGPT-4。
- �� 设计6类能力评估任务，如视觉问答和视觉常识。
- �� 使用47个基准测试模型性能。
- �� 构建在线竞技平台，支持用户对模型进行开放场景评估。
实验设计
实验使用ImageNet1K、COCO等数据集，评估模型在视觉感知、知识获取和推理等任务中的表现。通过对比基准和用户投票，验证模型的泛化能力。
结果分析
InstructBLIP在域内任务表现优异，但开放场景中泛化能力较差。MiniGPT-4等模型出现对象幻觉问题，多轮推理框架显著缓解该问题。
应用场景
LVLM-eHub可用于模型性能评估和优化，适用于视觉问答、图像描述等任务。在线竞技平台支持用户级别的开放场景评估。
局限与展望
评估任务覆盖范围有限，在线平台仅支持单轮对话，部分模型性能受限于训练数据质量。
通俗解读 非专业人士也能看懂
想象你在厨房准备晚餐。视觉语言模型就像你的助手，它能识别食材（视觉感知），告诉你如何烹饪（知识获取），并回答你的问题，比如“这道菜需要什么调料？”（视觉推理）。但有时助手会犯错，比如把胡萝卜认成南瓜（对象幻觉）。本文提出的方法就像改进助手的培训计划，让它更准确地识别和回答问题。
简单解释 像给14岁少年讲一样
想象你在玩游戏，助手告诉你如何完成任务，比如“找到宝藏”。助手能看地图（视觉感知），读线索（知识获取），并回答问题，比如“宝藏在哪？”（视觉推理）。但有时助手会搞错，比如把树认成石头（对象幻觉）。这篇论文就像升级助手的技能，让它更聪明！
术语表
视觉问答 (Visual Question Answering)
模型根据图像和问题生成答案，测试其视觉和语言理解能力。
用于评估模型的视觉推理能力。
对象幻觉 (Object Hallucination)
模型生成的描述与目标图像不一致的问题。
在图像描述任务中常见。
指令微调 (Instruction Tuning)
通过指令数据训练模型以提高其任务完成能力。
用于优化模型的多模态表现。
多轮推理 (Multi-turn Reasoning)
通过生成子问题和答案逐步解决复杂问题的框架。
用于缓解对象幻觉问题。
开放场景评估 (Open-world Evaluation)
用户在开放场景中与模型交互并评估其表现。
在线竞技平台的核心功能。
开放问题 这项研究留下的未解疑问
- 1 如何扩展评估任务以涵盖新兴领域？
- 2 如何优化多轮推理框架以进一步缓解对象幻觉问题？
应用场景
近期应用
视觉问答优化
改进模型在视觉问答任务中的表现，适用于教育和客户服务。
图像描述生成
提升图像描述质量，支持内容创作和辅助技术。
远期愿景
零样本多模态学习
开发无需训练即可泛化的新型模型，推动人工智能的广泛应用。
原文摘要
Large Vision-Language Models (LVLMs) have recently played a dominant role in multimodal vision-language learning. Despite the great success, it lacks a holistic evaluation of their efficacy. This paper presents a comprehensive evaluation of publicly available large multimodal models by building a LVLM evaluation Hub (LVLM-eHub). Our LVLM-eHub consists of $8$ representative LVLMs such as InstructBLIP and MiniGPT-4, which are thoroughly evaluated by a quantitative capability evaluation and an online arena platform. The former evaluates $6$ categories of multimodal capabilities of LVLMs such as visual question answering and embodied artificial intelligence on $47$ standard text-related visual benchmarks, while the latter provides the user-level evaluation of LVLMs in an open-world question-answering scenario. The study reveals several innovative findings. First, instruction-tuned LVLM with massive in-domain data such as InstructBLIP heavily overfits many existing tasks, generalizing poorly in the open-world scenario. Second, instruction-tuned LVLM with moderate instruction-following data may result in object hallucination issues (i.e., generate objects that are inconsistent with target images in the descriptions). It either makes the current evaluation metric such as CIDEr for image captioning ineffective or generates wrong answers. Third, employing a multi-turn reasoning evaluation framework can mitigate the issue of object hallucination, shedding light on developing an effective pipeline for LVLM evaluation. The findings provide a foundational framework for the conception and assessment of innovative strategies aimed at enhancing zero-shot multimodal techniques. Our LVLM-eHub will be available at https://github.com/OpenGVLab/Multi-Modality-Arena