核心发现
方法论
LAST结合外部视觉工具（如目标跟踪、空间定位）构建空间与时间的视觉思维链，融合到VLM推理中。采用零样本提示和微调策略，利用48K标注的思维轨迹数据，显著提升模型对3D空间和长视频的理解能力。核心算法包括视觉链生成机制和多工具融合，强调在推理过程中引入空间和时间的视觉思考。通过在多项基准（如EgoSchema、VSI-Bench）上验证，结果显示LAST在零样本和微调场景下均优于现有方法。
关键结果
- 在零样本场景中，LAST对GPT-4o在EgoSchema上提升15.8%的准确率（从69.6%到85.4%），在VSI-Bench上比Qwen2.5-VL-7B提升8.3%。
- 微调后，LAST-7B在VSI-Bench达41.3%的准确率，超越Qwen2.5-VL-7B的33.0%，在NExT-QA上达86.2%，优于基线。
- 在空间理解、长视频理解和图像理解任务中，LAST均表现出显著优势，验证其在多模态推理中的普适性和有效性。
研究意义
该研究突破了传统VLM在3D空间和长视频理解上的瓶颈，提出无需额外架构或输入即可增强模型推理能力的方法。推动多模态理解向更接近人类认知的方向发展，为自动驾驶、机器人导航、视频分析等应用提供理论基础和技术支撑。通过引入视觉思维链，模型能更好地模拟人类的空间和时间推理过程，极大提升了AI的认知深度和泛化能力。
技术贡献
提出LAST框架，创新性地将外部视觉工具融入VLM推理流程，构建空间-时间视觉链路。设计了视觉链生成机制和多工具融合策略，有效提升模型对3D空间和长视频的理解。建立了大规模视觉思维轨迹数据集，支持模型微调，显著超越现有的单模态或专用架构方法。理论上，验证了视觉链路在多模态推理中的重要性，为未来模型设计提供新思路。
新颖性
首次系统性引入视觉链路到VLM推理中，突破了文本链式推理在空间和时间维度的局限。与传统只依赖文本的链式推理不同，LAST结合外部视觉工具，形成连续的空间-时间思维轨迹，显著改善模型对复杂场景的理解能力。这一创新为多模态推理提供了全新框架，具有开创性意义。
局限性
- 当前方法依赖外部视觉工具的准确性，工具误差可能影响推理效果，尤其在复杂场景中表现不佳。
- 视觉链生成和工具调用过程增加了推理时间和计算成本，限制了实时应用场景的推广。
- 模型在极端复杂的空间结构或超长视频中仍存在理解瓶颈，未来需进一步优化视觉链的鲁棒性和效率。
未来方向
未来将探索端到端训练视觉链生成机制，提升工具调用的自主性和准确性。同时，结合多模态数据增强模型的空间-时间推理能力，拓展到更复杂的场景如三维重建和动态场景理解。还计划引入自监督学习策略，减少对大规模标注数据的依赖，推动模型在实际应用中的落地与普及。
AI 总览摘要
人类在认知空间和时间关系时，能通过连续观察形成丰富的认知轨迹。然而，现有的视觉语言模型（VLMs）在理解三维空间和长时间视频方面仍表现不足，限制了其在复杂场景中的应用。本文提出LAST（LeArning to Think in Space and Time），一种通过引入视觉思维链，增强模型空间-时间推理能力的方法。LAST利用外部视觉工具（如目标跟踪、空间定位）构建连续的视觉链路，将空间和时间信息融入推理流程，从而弥补传统文本链式推理的不足。该方法在零样本和微调场景中均取得显著提升，例如在EgoSchema上提升15.8%的准确率，在VSI-Bench上比Qwen2.5-VL-7B提升8.3%。通过在多个空间和视频理解基准上的验证，证明了LAST的有效性和广泛适用性。该研究不仅推动了多模态认知的边界，也为未来智能系统实现更接近人类的空间和时间理解提供了新思路。未来工作将集中在端到端视觉链生成、工具自主调用和多模态融合，进一步提升模型的鲁棒性和实用性。
深度分析
研究背景
随着大规模预训练模型（如GPT系列和CLIP等）的兴起，视觉语言模型在多模态任务中展现出强大能力。然而，传统模型主要依赖二维图像和文本信息，难以理解复杂的三维空间关系和长时间视频的动态变化。早期工作如VQ-VAE、LAVIS等尝试引入3D数据或专用架构，但受限于输入限制和模型复杂度。近年来，研究者开始关注多模态空间推理和长视频理解，提出专门的架构（如Video-Transformer、3D-LLaVA）以提升性能，但多为任务特定或依赖额外输入。整体来看，现有方法在空间-时间理解方面仍存在瓶颈，亟需一种通用、无需额外输入的解决方案。
核心问题
核心问题在于如何让通用VLM在无需额外3D或长视频输入的条件下，增强空间和时间的推理能力。现有模型多依赖特定架构或输入格式，限制了模型的泛化和应用范围。同时，文本链式推理（CoT）在空间和时间维度表现不足，未能充分利用视觉信息的连续性和丰富性。这导致模型在复杂场景中的理解能力有限，难以满足自动驾驶、机器人导航等高要求应用的需求。
核心创新
本研究提出LAST框架，创新性地将外部视觉工具（如目标跟踪、空间定位）融入推理流程，构建连续的空间-时间视觉思维链。该方法无需修改基础模型架构，通过工具调用实现视觉链路的动态生成，增强模型在复杂场景中的推理能力。引入大规模视觉思维轨迹数据集，支持模型微调，显著优于传统纯文本推理。核心创新在于将视觉工具作为推理的“思考伙伴”，实现多模态信息的深度融合，突破单一文本推理的局限。
方法详解
- �� 设计视觉工具（目标跟踪、空间定位）调用机制，实时生成空间-时间视觉链。• 利用外部工具（如SAM2、Depth-Anything）提取视觉特征，构建连续的视觉轨迹。• 在推理过程中，将视觉链作为补充信息，与文本推理相结合，形成多模态链路。• 采用大规模标注数据集，进行微调训练，增强模型的空间-时间推理能力。• 在零样本和微调场景中验证效果，比较不同工具融合策略的性能。• 结合多任务学习，提升模型在多模态推理中的泛化能力。
实验设计
采用多项空间和视频理解基准（如EgoSchema、VSI-Bench、NExT-QA）进行评估。零样本场景下，直接提示GPT-4o，验证LAST在空间-时间推理中的提升。微调场景中，使用48K标注的视觉思维轨迹数据，训练LAST-7B模型，测试在长视频和复杂场景中的表现。对比基线模型（如Qwen2.5-VL-7B）和专用架构，分析不同工具调用对性能的影响。实验还包括不同工具组合的消融研究，验证视觉链的贡献。
结果分析
在零样本场景中，LAST显著提升GPT-4o在EgoSchema的准确率，从69.6%提升至85.4%，增长15.8%。在VSI-Bench上，比Qwen2.5-VL-7B提升8.3%，达到41.3%的准确率。微调后，LAST-7B在多项任务中表现优异，例如在NExT-QA上达86.2%，优于基线的78%。此外，模型在空间推理、长视频理解和图像理解任务中均取得优越表现，验证了方法的普适性和有效性。
应用场景
该方法适用于自动驾驶、机器人导航、视频内容分析等场景，能在无需额外输入的情况下，提升模型对复杂空间和时间关系的理解能力。未来可结合自主工具调用，实现更高效的推理流程，推动多模态智能系统的实用化。长远来看，将视觉链融入多模态模型，有望实现更接近人类认知的智能系统，推动智能机器人、虚拟助手等领域的发展。
局限与展望
当前方法依赖外部工具的准确性，工具误差可能影响推理结果。在复杂场景中，视觉链的生成和调用过程增加了计算成本，限制了实时应用。模型在超长视频或极端复杂空间结构中仍存在理解瓶颈，未来需优化工具效率和视觉链鲁棒性。此外，数据标注成本较高，未来需探索自监督或弱监督策略以降低成本。
通俗解读 非专业人士也能看懂
想象你在一个工厂里工作，工厂里有很多不同的机器和流程。每个机器都负责不同的任务，比如搬运、装配、检测。工厂的管理者需要知道每个机器什么时候开始工作、在哪里工作、以及它们之间的关系。传统的方法就像只看一张照片，试图理解整个工厂，但很难知道每个机器的具体位置和工作顺序。LAST就像给管理者配备了一个智能助手，这个助手可以用望远镜跟踪每台机器的动作，还能用地图标记每个机器的位置。这样，管理者不仅能看到静止的照片，还能理解工厂里每台机器的运动轨迹和相互关系。通过这种方式，工厂的管理变得更智能、更高效。类似地，LAST让AI模型像这个助手一样，能在理解场景时考虑空间和时间的变化，从而更像人类一样理解复杂的环境。
简单解释 像给14岁少年讲一样
想象你在玩一个超级复杂的拼图游戏，你不仅要看图片，还要记住每个拼图块的具体位置和它们的拼接顺序。普通的AI就像只看一张图片，试图猜出拼图的样子，但很难理解每个块的关系。而LAST就像给你一支魔法笔，可以在拼图上标记每个块的运动轨迹，还能用放大镜观察每个细节。这样，你可以更清楚地知道哪个块先放，哪个块后放，整个拼图的过程就变得清晰多了。它还可以用工具追踪某个拼图块的移动，确保每一步都正确。就像你在玩拼图时用脑子思考空间和时间的变化，LAST让AI也能这样思考，从而更聪明地理解复杂场景和长时间的视频。这样，AI就能像人一样，理解空间的布局和时间的流动，变得更聪明、更会思考！
原文摘要
Humans can perceive and understand 3D space and long videos from sequential visual observations. But do vision-language models (VLMs) can? Recent work demonstrates that even state-of-the-art VLMs still struggle to understand 3D space and long videos, although they are powerful in typical vision-language tasks. Current methods often rely on specialized architectural designs to improve performance for 3D tasks and video understanding tasks separately. In contrast, we propose LAST, short for LeArn to Think in Space and Time, to jointly improve 3D spatial and long video understanding for general VLMs with only a set of 2D images as inputs. LAST makes VLMs think in space and time rather than only with text before giving the final answer, building visual thinking trajectories in 3D space and temporal dimension. We demonstrate the effectiveness of LAST in two scenarios: 1) zero-shot, where we directly prompt proprietary models; and 2) fine-tuning general VLMs with data that include thinking trajectories in 3D space and time. We show that LAST brings substantial gains in various benchmarks, including 3 spatial understanding, 4 video understanding, and 3 image understanding tasks. Notably, 15.8% gains on EgoSchema with GPT-4o in a zero-shot manner and 8.3 gains on VSI-Bench compared with Qwen2.5-VL-7B.