核心发现
方法论
TouchStone方法通过构建一个综合的视觉对话数据集，涵盖五大能力和27个子任务，利用详细的图像注释将多模态输入转化为LLM可理解的形式，从而使用GPT-4等强大的LLM进行自动化评估。
关键结果
- GPT-4能够有效评估对话质量，与人类偏好一致，证明其在识别幻觉问题上的能力。
- 在视觉故事创作能力上，LLaVA和mPLUG-Owl表现优异，显示出在SFT阶段的优势。
- Qwen-VL在文本识别和图表分析上表现突出，得益于高分辨率输入和多任务学习。
研究意义
该研究通过自动化评估方法，解决了LVLM评估中人力成本高、幻觉问题难以量化的痛点，为未来更强大的LVLM构建提供了基准。
技术贡献
TouchStone在评估LVLM的对话能力上提供了一个新的自动化方法，利用LLM的文本能力进行多模态对话质量评估，避免了人工干预。
新颖性
这是首次使用强大的LLM如GPT-4来评估LVLM的对话质量，突破了传统评估方法的局限，提供了更全面的能力评估。
局限性
- 当前数据集对基础能力的评估较多，尚未全面覆盖高级能力。
- 多图像分析能力较弱，影响识别准确性。
未来方向
未来工作将扩展数据集覆盖范围，提升高级能力的评估，并探索更复杂的多模态交互场景。
AI 总览摘要
近年来，大型视觉语言模型（LVLMs）在连接视觉感受器与大型语言模型（LLMs）方面取得了显著进展。然而，现有评估主要集中于识别和推理能力，缺乏对话能力和视觉故事创作能力的直接评估。为此，本文提出了一种使用强大LLM作为评委的评估方法，全面评估LVLM的各种能力。首先，我们构建了一个名为TouchStone的综合视觉对话数据集，涵盖五大能力和27个子任务。该数据集不仅涵盖了基本的识别和理解，还扩展到文学创作。通过整合详细的图像注释，我们有效地将多模态输入内容转化为LLM可理解的形式，使我们能够使用先进的LLM直接评估多模态对话的质量，而无需人工干预。通过验证，我们证明了强大的LVLM，如GPT-4，可以仅凭其文本能力有效地评分对话质量，与人类偏好一致。我们希望我们的工作可以成为LVLM评估的试金石，并为构建更强大的LVLM铺平道路。
深度分析
研究背景
近年来，随着大型语言模型（LLMs）的发展，视觉语言模型（LVLMs）在多模态对话中的应用越来越广泛。然而，现有的评估方法主要集中在识别和推理能力上，缺乏对话能力和视觉故事创作能力的全面评估。
核心问题
现有的LVLM评估方法主要依赖于人工评估，成本高且难以扩展。此外，幻觉问题在当前评估中常被忽视，亟需一种自动化的评估技术来提供客观高效的评估。
核心创新
TouchStone通过构建一个综合的视觉对话数据集，涵盖五大能力和27个子任务，利用详细的图像注释将多模态输入转化为LLM可理解的形式，从而使用GPT-4等强大的LLM进行自动化评估。
方法详解
- �� 构建TouchStone数据集，涵盖五大能力和27个子任务。
- �� 利用详细的图像注释将多模态输入转化为文本形式。
- �� 使用GPT-4评估对话质量，避免人工干预。
- �� 通过位置平衡消除评分中的位置偏差。
实验设计
实验设计包括使用TouchStone数据集进行评估，比较不同LVLM在五大能力上的表现。使用GPT-4作为评委，对不同模型的回答进行评分，并与人类评估结果进行对比验证。
结果分析
实验结果表明，GPT-4能够有效评估对话质量，与人类偏好一致。LLaVA和mPLUG-Owl在视觉故事创作能力上表现优异，而Qwen-VL在文本识别和图表分析上表现突出。
应用场景
TouchStone方法可以用于评估LVLM在多模态对话中的表现，帮助开发者识别模型的优劣势，并指导模型的改进和优化。
局限与展望
当前数据集对基础能力的评估较多，尚未全面覆盖高级能力。此外，多图像分析能力较弱，影响识别准确性。未来工作将扩展数据集覆盖范围，提升高级能力的评估。
通俗解读 非专业人士也能看懂
想象你在厨房里做饭，TouchStone就像一个智能助手，它不仅能识别食材，还能根据你的需求给出烹饪建议。它通过观察食材的颜色、形状和排列，理解你想做的菜肴，并提供详细的步骤指导。这个助手能识别不同的食材，并根据你的口味偏好调整菜谱。即使你想尝试新的菜式，它也能提供创意建议，帮助你完成一顿美味的晚餐。
简单解释 像给14岁少年讲一样
想象你在玩一个超级酷的游戏，TouchStone就像你的游戏助手。它能识别游戏中的各种元素，比如敌人、道具和地图，并给你提供最佳的游戏策略。它不仅能帮你打败敌人，还能根据你的游戏风格给出个性化的建议。就像一个无所不知的游戏向导，它能帮你在游戏中取得胜利，成为最强的玩家！
术语表
Large Vision-Language Models (大型视觉语言模型)
结合视觉和语言能力的模型，能够理解和生成多模态内容。
用于评估多模态对话能力。
GPT-4
OpenAI开发的强大语言模型，具有卓越的文本生成和理解能力。
用于评估对话质量。
TouchStone
一个评估LVLM的综合方法，利用LLM进行自动化评估。
用于评估多模态对话能力。
Hallucination (幻觉)
模型生成的与输入不符的内容，可能影响评估结果。
在评估中识别幻觉问题。
Visual Storytelling (视觉故事创作)
基于视觉内容进行文学创作的能力。
评估LVLM的创作能力。
开放问题 这项研究留下的未解疑问
- 1 如何在不增加人工成本的情况下提高高级能力的评估？
- 2 如何更好地识别和量化模型的幻觉问题？
应用场景
近期应用
多模态对话评估
开发者可以使用TouchStone评估LVLM的对话能力，识别模型的优劣势。
远期愿景
智能助手开发
利用TouchStone评估结果，开发更智能的多模态交互系统，提升用户体验。
原文摘要
Large vision-language models (LVLMs) have recently witnessed rapid advancements, exhibiting a remarkable capacity for perceiving, understanding, and processing visual information by connecting visual receptor with large language models (LLMs). However, current assessments mainly focus on recognizing and reasoning abilities, lacking direct evaluation of conversational skills and neglecting visual storytelling abilities. In this paper, we propose an evaluation method that uses strong LLMs as judges to comprehensively evaluate the various abilities of LVLMs. Firstly, we construct a comprehensive visual dialogue dataset TouchStone, consisting of open-world images and questions, covering five major categories of abilities and 27 subtasks. This dataset not only covers fundamental recognition and comprehension but also extends to literary creation. Secondly, by integrating detailed image annotations we effectively transform the multimodal input content into a form understandable by LLMs. This enables us to employ advanced LLMs for directly evaluating the quality of the multimodal dialogue without requiring human intervention. Through validation, we demonstrate that powerful LVLMs, such as GPT-4, can effectively score dialogue quality by leveraging their textual capabilities alone, aligning with human preferences. We hope our work can serve as a touchstone for LVLMs' evaluation and pave the way for building stronger LVLMs. The evaluation code is available at https://github.com/OFA-Sys/TouchStone.