核心发现
方法论
本文通过使用GRASP和IntPhys 2数据集系统评估多模态大型语言模型的直觉物理任务表现。我们采用了InternVL 2.5、Qwen 2.5 VL、LLaVA-OneVision和Gemini 2.0 Flash Thinking等模型，并对模型嵌入进行了探测分析。
关键结果
- 即使是最新模型在区分物理合理与不合理场景时也表现不佳，准确率未超过54%。
- 视觉编码器能够捕捉物理合理性线索，但语言模型未能有效利用这些信息。
- 视觉与语言的错位是主要瓶颈，导致推理失败。
研究意义
研究揭示了多模态语言模型在直觉物理任务中的主要限制在于视觉与语言信息的整合不佳。这为未来模型的发展提供了重要的改进方向。
技术贡献
本文通过探测分析揭示了视觉与语言整合的关键瓶颈，提出了改进视觉语言对齐的建议，推动多模态模型在直觉物理任务中的应用。
新颖性
首次系统评估多模态大型语言模型在直觉物理任务中的表现，揭示了视觉与语言整合的关键问题。
局限性
- 模型在区分物理合理与不合理场景时表现不佳，准确率仅略高于随机水平。
- 视觉与语言整合不佳导致推理失败，需进一步研究改进方法。
未来方向
未来研究可集中于改进视觉与语言信息的整合，开发更有效的多模态模型以提高直觉物理任务的表现。
AI 总览摘要
本文系统评估了多模态大型语言模型在直觉物理任务中的表现，使用了GRASP和IntPhys 2数据集。尽管这些模型在视觉语言任务中取得了进展，但在区分物理合理与不合理场景时仍表现不佳，准确率未超过54%。通过探测分析，我们发现视觉编码器能够捕捉物理合理性线索，但语言模型未能有效利用这些信息，导致推理失败。这表明视觉与语言整合不佳是主要限制，未来研究应集中于改进这一方面，以提高模型在直觉物理任务中的表现。
深度分析
研究背景
随着Transformer模型的兴起，大规模预训练语言模型在自然语言处理领域取得了显著进展。然而，多模态大型语言模型仍处于探索阶段，尤其是在直觉物理任务中的应用。传统语言模型在各种任务中表现出色，但多模态模型由于其新颖性和计算复杂性，尚未得到充分研究。
核心问题
多模态语言模型在直觉物理任务中表现不佳，难以区分物理合理与不合理场景。这一问题的重要性在于模型需具备理解物理世界的能力，以便在实际应用中更好地进行推理。
核心创新
本文通过探测分析揭示了视觉与语言整合的关键瓶颈，提出了改进视觉语言对齐的建议。我们发现视觉编码器能够捕捉物理合理性线索，但语言模型未能有效利用这些信息。
方法详解
- �� 使用GRASP和IntPhys 2数据集评估模型表现
- �� 探测分析模型嵌入，提取关键处理阶段的中间表示
- �� 训练简单分类器以评估模型编码物理合理性线索的能力
实验设计
实验使用了GRASP和IntPhys 2数据集，评估了InternVL 2.5、Qwen 2.5 VL、LLaVA-OneVision和Gemini 2.0 Flash Thinking等模型。我们采用了准确率作为主要评估指标，并进行了嵌入探测分析。
结果分析
即使是最新模型在区分物理合理与不合理场景时也表现不佳，准确率未超过54%。视觉编码器能够捕捉物理合理性线索，但语言模型未能有效利用这些信息。
应用场景
多模态语言模型在直觉物理任务中的应用场景包括机器人导航、自动驾驶等领域。然而，需改进视觉与语言信息的整合以提高模型的推理能力。
局限与展望
模型在区分物理合理与不合理场景时表现不佳，准确率仅略高于随机水平。视觉与语言整合不佳导致推理失败，需进一步研究改进方法。
通俗解读 非专业人士也能看懂
想象你在看一部电影，里面有一个球突然悬在空中不动。我们的模型就像一个电影评论员，它需要判断这个场景是否符合现实世界的物理规律。虽然视觉部分能够识别出球悬在空中是不合理的，但语言部分却没能有效利用这些信息来做出正确判断。这就像是评论员看到了电影中的不合理之处，却没能在评论中指出来。
简单解释 像给14岁少年讲一样
想象你在玩一个游戏，里面有一个球突然悬在空中不动。我们的模型就像游戏中的助手，它需要判断这个场景是否符合现实世界的物理规律。虽然视觉部分能够识别出球悬在空中是不合理的，但语言部分却没能有效利用这些信息来做出正确判断。这就像是助手看到了游戏中的不合理之处，却没能在提示中指出来。
术语表
多模态语言模型 (Multimodal Language Model)
结合视觉和语言输入的模型，用于处理复杂任务。
用于评估直觉物理任务的表现。
直觉物理 (Intuitive Physics)
理解物理世界的基本原则，如重力和物体恒常性。
评估模型区分物理合理与不合理场景的能力。
视觉编码器 (Vision Encoder)
处理视觉输入的模型组件，提取视觉特征。
用于捕捉物理合理性线索。
语言模型 (Language Model)
处理语言输入的模型组件，用于推理和生成文本。
未能有效利用视觉编码器提供的信息。
嵌入探测分析 (Embedding Probing Analysis)
分析模型嵌入以评估其编码信息的能力。
用于评估模型是否能区分物理合理与不合理场景。
开放问题 这项研究留下的未解疑问
- 1 如何改进视觉与语言信息的整合以提高模型的推理能力？
- 2 在直觉物理任务中，模型如何更好地利用视觉编码器提供的信息？
应用场景
近期应用
机器人导航
改进机器人在复杂环境中的导航能力，需提高模型的物理推理能力。
远期愿景
自动驾驶
提升自动驾驶系统的安全性和可靠性，需改进模型的视觉与语言整合。
原文摘要
This paper presents a systematic evaluation of state-of-the-art multimodal large language models (MLLMs) on intuitive physics tasks using the GRASP and IntPhys 2 datasets. We assess the open-source models InternVL 2.5, Qwen 2.5 VL, LLaVA-OneVision, and the proprietary Gemini 2.0 Flash Thinking, finding that even the latest models struggle to reliably distinguish physically plausible from implausible scenarios. To go beyond performance metrics, we conduct a probing analysis of model embeddings, extracting intermediate representations at key processing stages to examine how well task-relevant information is preserved. Our results show that, depending on task difficulty, a critical vision-language misalignment can emerge: vision encoders successfully capture physical plausibility cues, but this information is not effectively utilized by the language model, leading to failures in reasoning. This misalignment suggests that the primary limitation of MLLMs in intuitive physics tasks is not the vision component but the ineffective integration of visual and linguistic information. Our findings highlight vision-language alignment as a key area for improvement, offering insights for future MLLMs development.