核心发现
方法论
本文针对视频大语言模型(Video-LLMs)在基本运动方向识别上的系统性失败，提出了诊断方法和解决方案。通过构建MoDirect数据集家族，涵盖合成和真实场景的四个子域，设计了多选题格式测试模型对左右上下运动方向的理解。作者追踪运动方向信息在视觉编码器、投影器及LLM隐藏状态中的线性可解码性，发现失败源于最终读出阶段无法将运动信号绑定到正确的语言答案选项，称之为“方向绑定缺口”。为解决该问题，设计了DeltaDirect训练目标，在投影器层预测相邻帧特征差分的归一化二维运动向量，强化运动位移信号。训练时结合标准下一个词预测和运动向量预测损失，推理时不改变模型结构和输入格式。
关键结果
- 在MoDirect-SynBench合成数据集上，使用DeltaDirect指令微调后，运动方向识别准确率从25.9%提升至85.4%，显著超越基线模型。
- 在MoDirect-RealBench真实场景测试中，DeltaDirect提升了21.9个百分点的运动方向识别准确率，且无需真实世界运动方向标注数据，保持了视频理解的整体性能。
- 消融实验表明，运动向量预测监督在投影器输出层效果最佳，且直接预测归一化二维运动向量优于其他运动信号形式，验证了方法设计的合理性。
研究意义
该研究首次系统揭示了当前视频大语言模型在基本运动方向感知上的严重缺陷，明确了视觉编码和语言理解之间的“方向绑定缺口”，为运动信息的语言表达提供了新的视角。提出的DeltaDirect训练策略有效强化了视觉语言接口的运动信号，显著提升了模型对运动方向的理解能力。这不仅推动了视频理解领域基础感知能力的提升，也为未来多模态模型的感知-语言融合提供了重要启示，促进了视觉与语言的深度协同，具有广泛的学术和工业应用价值。
技术贡献
本文的技术贡献包括：1）通过线性探测和概念向量分析，精确定位运动方向识别失败的瓶颈在于语言读出阶段的绑定缺失；2）提出MoDirect数据集，系统覆盖合成与真实场景，支持运动方向指令微调与评估；3）设计DeltaDirect辅助训练目标，基于投影器输出的相邻帧特征差分预测归一化二维运动向量，强化运动位移信号；4）训练时结合传统语言模型损失与运动向量预测损失，推理阶段保持模型架构不变，实现无缝集成；5）实验证明该方法显著提升运动方向识别准确率，同时不损害视频理解的其他能力，展示了训练驱动的视觉语言接口改进的新范式。
新颖性
本研究首次系统诊断视频大语言模型的运动方向盲点，提出“方向绑定缺口”概念，揭示运动信号虽存但未被语言模块有效利用的结构性问题。不同于以往依赖额外运动编码器或运动token的方案，DeltaDirect通过训练时辅助任务强化视觉语言接口的运动信号，推理时不增加复杂度，实现了高效且泛化良好的运动方向理解能力，填补了现有Video-LLMs在基础运动感知上的空白。
局限性
- 该方法在视觉复杂度极高的真实场景中仍存在一定的准确率下降，表明运动信号强度受复杂背景影响，泛化能力尚有提升空间。
- DeltaDirect依赖于合成数据的运动方向标注进行训练，真实世界运动方向标注数据稀缺可能限制其在某些应用中的直接适用性。
- 当前研究主要聚焦于四个基本方向的运动识别，尚未扩展到更复杂的运动模式或三维空间运动理解。
未来方向
未来工作可聚焦于提升模型在复杂真实场景中的运动信号强度与泛化能力，探索结合自监督学习以减少对标注数据的依赖。此外，扩展DeltaDirect框架以支持更丰富的运动类型和三维运动理解，结合多模态时序推理，推动视频大语言模型在动态场景理解中的全面能力提升。
AI 总览摘要
视频大语言模型（Video-LLMs）近年来在时序视频理解方面取得了显著进展，然而本文揭示了它们在基础视觉感知任务——图像平面上的带符号运动方向识别上存在严重缺陷。通过在简单的单物体运动视频（左右上下四方向）上测试，发现大多数Video-LLMs的准确率接近随机水平，且偶尔的超随机表现多因预测偏差而非真实理解。这种系统性失败被称为“方向运动盲”。
为定位问题根源，作者追踪运动方向信息在模型中的流动，发现视觉编码器、投影器及LLM隐藏状态中均可线性解码出运动方向信号，但最终的语言输出阶段未能将该信号绑定到正确的答案选项，形成“方向绑定缺口”。该现象在多种Video-LLMs中普遍存在，表明问题非单一模型特异，而是结构性瓶颈。
针对这一问题，研究团队构建了MoDirect数据集家族，涵盖合成与真实背景下的四个子域，设计多选题形式的运动方向识别任务，确保模型必须将感知的方向与提示中的答案文本正确对应。通过指令微调，模型在合成域准确率显著提升，但在视觉复杂度更高的真实域中仍表现欠佳。通过运动方向概念向量分析，发现跨域共享的方向向量方向一致，但信号幅度在复杂场景中显著下降，导致泛化能力受限。
基于此诊断，提出DeltaDirect辅助训练目标，在视觉语言接口的投影器输出层预测相邻帧特征差分的归一化二维运动向量，强化运动位移信号。该辅助分支仅在训练时使用，推理时不改变模型结构和输入格式。实验结果显示，DeltaDirect在MoDirect-SynBench上将准确率从25.9%提升至85.4%，在MoDirect-RealBench上提升21.9个百分点，且不损害视频理解的其他能力。
该研究不仅揭示了当前Video-LLMs在基础运动感知上的盲点，提出了“方向绑定缺口”这一新概念，还通过设计针对性的训练目标有效弥补了这一缺陷。其成果为未来多模态模型的视觉与语言深度融合提供了重要思路，推动视频理解技术向更精准的动态感知迈进。未来研究可进一步提升复杂场景下的泛化能力，扩展运动类型理解，促进视频大语言模型在实际应用中的广泛部署。
深度分析
研究背景
视频大语言模型（Video-LLMs）结合了视觉编码和大型语言模型，近年来在时序视频理解领域取得了快速发展。代表性工作如LLaVA-Video、Gemini2.5-Flash等，通过多模态指令微调提升了模型对视频内容的理解和生成能力。现有基准测试多聚焦于动作识别、事件排序、长视频推理等复杂任务，涵盖Temporal Memory Benchmark、Something-Something V2（SSv2）、KTH动作数据集等。然而，基础的运动方向感知作为视觉认知的根基，尚未被系统评估和充分解决。运动方向是视觉导航和物理交互的关键，缺乏对其准确理解限制了模型的时序感知能力和泛化性能。
核心问题
本文聚焦于Video-LLMs在图像平面上带符号运动方向识别的核心问题。具体而言，模型需要判断单一物体在视频中是向左、右、上、下四个方向中的哪一个移动。尽管该任务看似简单，实验发现大多数Video-LLMs准确率仅略高于25%的随机水平，表明模型未能真正理解运动方向。问题的关键瓶颈在于，虽然视觉编码器和投影器保留了运动方向信息，且LLM隐藏状态中该信息线性可解码，但最终语言输出阶段未能将运动信号正确映射到提示中的答案选项，形成“方向绑定缺口”，导致运动方向理解失败。
核心创新
本研究的核心创新包括：1）提出“方向绑定缺口”概念，系统诊断运动方向识别失败的结构性原因，区别于传统视觉编码缺失；2）构建MoDirect数据集家族，涵盖合成与真实场景，设计多选题格式，确保模型必须绑定运动感知与语言答案；3）通过运动方向概念向量分析，揭示跨域共享方向向量方向一致但幅度下降，解释泛化性能瓶颈；4）设计DeltaDirect辅助训练目标，在投影器输出层预测归一化二维运动向量，强化运动位移信号，且训练时使用，推理时无额外开销；5）实验证明该方法显著提升运动方向识别准确率，且保持视频理解能力，提出了训练驱动的视觉语言接口改进范式。
方法详解
- �� 构建MoDirect数据集，包含四个子域：Primitive-on-Syn（合成几何图形+纯色背景）、Cutout-on-Syn（真实物体剪切图+纯色背景）、Primitive-on-Real（合成几何图形+自然背景）、Cutout-on-Real（真实物体剪切图+自然背景）。每个视频包含单一物体在四个方向之一移动。
- �� 设计多选题任务，随机排列答案选项，模型需将感知的运动方向绑定到提示中的正确答案，避免固定映射。
- �� 采用线性探测器对视觉编码器、投影器输出及LLM隐藏状态进行运动方向解码，定位失败环节。
- �� 设计DeltaDirect辅助训练目标：计算相邻帧投影器输出特征差分，空间池化后预测归一化二维运动向量，直接监督运动位移方向。
- �� 训练时结合标准下一个词预测交叉熵损失和运动向量预测均方误差损失，更新投影器和预测头参数，保持视觉编码器和LLM权重冻结。
- �� 推理时移除辅助预测头，不改变输入格式和解码流程，保证模型效率和兼容性。
实验设计
实验在MoDirect数据集及真实世界运动方向基准（SSv2、TOMATO、KTH）上进行。基线模型包括LLaVA-Video-7B、Gemini2.5-Flash等。评估指标为多选题准确率。训练细节包括冻结视觉编码器和LLM，仅微调投影器和LoRA适配器。消融实验比较了不同层级（视觉编码器、投影器、LLM隐藏层、最终读出）运动向量监督效果，验证DeltaDirect设计合理性。额外测试了不同运动信号形式（特征差分拼接、delta等价性）对性能的影响。所有实验均报告了准确率提升及泛化能力。
结果分析
在MoDirect-SynBench合成域，DeltaDirect指令微调使运动方向识别准确率从25.9%提升至85.4%，远超随机和基线模型。真实域MoDirect-RealBench上，DeltaDirect提升了21.9个百分点准确率，无需真实运动方向标注，展示了良好泛化。消融显示投影器输出层监督效果最佳，读出层监督效果较差，验证了运动信号应在视觉语言接口层强化。运动向量预测优于其他运动信号形式。微调后模型在标准视频理解基准（Standard、Fine-grained）上的表现未受损，甚至略有提升，说明方法兼顾了运动方向和整体视频理解。
应用场景
该方法可直接应用于视频问答、视频内容分析、机器人视觉导航等需要准确运动方向感知的多模态任务。通过提升基础运动方向理解，增强模型对动态场景的时序感知能力。适用于自动驾驶、智能监控、增强现实等领域，提升系统对物体运动轨迹的理解和推理能力。无需额外推理时开销，便于集成到现有Video-LLMs架构中，促进工业级多模态系统的实用化。
局限与展望
尽管DeltaDirect显著提升了运动方向识别准确率，但在视觉复杂度极高的真实场景中仍存在准确率下降，表明运动信号幅度受背景复杂度影响较大，泛化能力有限。训练依赖合成数据的运动方向标注，真实世界运动方向数据稀缺限制了直接迁移。当前研究仅覆盖四个基本方向，尚未扩展到更复杂运动模式或三维运动理解，未来需进一步拓展。
通俗解读 非专业人士也能看懂
想象你在看一部动画片，里面有个小球在屏幕上移动。你能轻松告诉别人小球是向左、向右、向上还是向下走，但电脑模型却经常搞不清楚这个简单的方向问题。就像你能看到小球跑向哪边，但电脑“眼睛”虽然看到了运动，却不会把这个信息告诉“嘴巴”说出来。研究人员发现，模型的视觉部分其实能捕捉到运动方向，但它的大脑（语言部分）没法把这个信息和正确的答案对应起来，就像听到了声音却没理解是什么意思。
为了让模型学会正确“说出”运动方向，研究者设计了一个特别的训练方法，叫做DeltaDirect。它让模型在学习时多关注相邻两帧画面之间的变化，直接预测运动的方向向量，这样模型的大脑就能更好地理解运动的“语言”。训练后，模型在测试时能准确识别运动方向，甚至在复杂背景下也表现更好。
这个方法不需要改变模型的结构，也不增加运行时的负担，就像给模型装了一个隐形的辅助工具，训练完就收起来了。这样，模型不仅能看懂视频里的动作，还能准确告诉你物体往哪个方向动，提升了视频理解的基础能力。
简单解释 像给14岁少年讲一样
嘿，你知道吗？现在的电脑模型虽然能看视频，但它们有时候连小球是往左还是往右滚都分不清楚，简直像戴了眼镜却看不清东西一样！这篇论文的科学家们发现，模型的“眼睛”其实能看到小球的运动方向，但它的“嘴巴”说不出来，搞得一头雾水。
于是他们发明了一个叫DeltaDirect的训练方法，帮模型学会从视频中抓住运动的变化，像是在告诉模型“嘿，这个小球是往右边跑的！”训练完后，模型就能准确回答“它往哪边动了”，准确率从25%（随机猜）飙到了85%！
更酷的是，这个方法不需要给模型加什么新零件，只是在训练时偷偷帮它练习，测试时模型还是原来的样子。这样，未来我们用视频聊天机器人或者智能监控时，它们就能更聪明地理解视频里的动作啦！是不是很厉害？
术语表
Video-LLM（视频大语言模型）
结合视觉编码器和大型语言模型，能够理解和生成与视频内容相关的语言描述和回答。
本文研究对象，分析其在运动方向理解上的缺陷。
运动方向绑定缺口（Direction Binding Gap）
运动方向信息虽存在于视觉和语言隐藏状态，但最终语言输出未能正确映射该信息到答案选项的现象。
本文提出的核心诊断概念，揭示模型失败根源。
MoDirect数据集
包含四个子域的运动方向识别数据集家族，设计用于指令微调和评估运动方向理解。
用于训练和测试模型运动方向识别能力。
DeltaDirect
一种训练时辅助目标，通过预测相邻帧投影器输出特征差分的归一化二维运动向量，强化运动位移信号。
本文提出的解决方案，显著提升运动方向识别准确率。
投影器（Projector）
将视觉编码器输出映射到语言模型嵌入空间的模块，连接视觉和语言部分。
DeltaDirect监督作用的关键层级。
线性探测（Linear Probing）
通过训练线性分类器检测隐藏表示中是否包含特定信息的技术。
用于分析运动方向信息在模型各层的可解码性。
概念向量分析（Concept Vector Analysis）
通过计算不同类别样本隐藏状态均值差异，提取表示特定概念的向量。
用于研究运动方向信号的跨域一致性和幅度变化。
归一化二维运动向量
表示运动方向的二维单位向量，去除速度信息，仅保留方向。
DeltaDirect预测的目标信号。
LoRA适配器
一种轻量级参数微调方法，通过低秩矩阵调整预训练模型权重。
用于微调LLM部分参数，保持模型稳定。
多选题（MCQ）任务
给定多个答案选项，模型需选择正确运动方向对应的选项，选项顺序随机。
用于严格测试模型对运动方向与语言答案绑定能力。
开放问题 这项研究留下的未解疑问
- 1 当前方法在视觉复杂度极高的真实场景中运动信号幅度减弱，导致泛化性能下降，如何增强模型对复杂背景下运动方向的鲁棒性仍是挑战。
- 2 真实世界运动方向标注数据稀缺，限制了监督信号的获取，如何通过自监督或弱监督方法减少对标注的依赖尚未解决。
- 3 运动方向识别仅覆盖四个基本方向，复杂运动模式如曲线运动、三维空间运动的理解能力尚未建立。
- 4 运动信号与语言输出绑定机制的内在机理尚不完全清楚，如何设计更有效的绑定结构或训练策略值得深入研究。
- 5 当前研究主要关注视觉语言接口层的运动信号强化，如何结合时序建模和长期依赖捕捉提升运动理解仍需探索。
- 6 DeltaDirect方法在多模态大模型中的可扩展性和与其他视觉任务的协同效应尚未充分验证。
- 7 如何将运动方向理解能力迁移到更广泛的动态场景推理和视频生成任务中，仍是未来重要方向。
应用场景
近期应用
视频问答系统
提升视频问答中对物体运动方向的准确理解，使回答更符合视频内容，增强用户体验。
智能监控分析
帮助监控系统准确识别物体运动方向，提高异常行为检测和事件预警的准确性。
机器人视觉导航
增强机器人对环境中动态物体运动方向的感知能力，提升路径规划和避障性能。
远期愿景
多模态动态场景理解
推动视频大语言模型在复杂动态场景中的全面感知与推理，支持自动驾驶、增强现实等应用。
视觉语言模型的感知-语言融合
促进视觉信号与语言表达的深度融合，推动多模态人工智能系统向更高层次的认知能力发展。
原文摘要
Video Large Language Models (Video-LLMs) have made rapid progress on temporal video understanding, yet many fail at a basic perceptual primitive: signed image-plane motion direction. On simple videos of a single object moving left, right, up, or down, most Video-LLMs perform near chance, with above-chance cases largely attributable to prediction biases rather than genuine direction understanding. We call this failure directional motion blindness. We localize the failure by tracing motion direction information through the Video-LLM pipeline. Motion direction remains linearly accessible from the vision encoder, projector, and LLM hidden states, but the readout fails to bind this signal to the correct verbal answer option, revealing a direction binding gap. Although synthetic motion direction instruction tuning reduces this gap on the source domain, motion direction concept vector analysis shows that visual complexity weakens the signal magnitude and limits out-of-domain generalization. We introduce MoDirect, a dataset family for motion direction instruction tuning and evaluation, and DeltaDirect, a diagnosis-driven, projector-level objective that predicts normalized 2-D motion vectors from adjacent-frame feature deltas. On MoDirect-SynBench, instruction tuning with DeltaDirect improves motion direction accuracy from 25.9% to 85.4%. On MoDirect-RealBench, DeltaDirect improves real-world motion direction accuracy by 21.9 points over the vanilla baseline without real-world tuning data, while preserving standard video-understanding performance. Code: https://github.com/KHU-VLL/DeltaDirect