核心发现
方法论
本文提出基于视频编码原语的轻量级Transformer编码器，将运动向量和残差作为稀疏Token，与图像编码的嵌入空间对齐。通过预训练策略，模型在端到端微调中快速收敛，显著减少了首次Token时间（TTFT）和Token总数。采用GOP结构，I帧用全图像编码，P帧用运动向量和残差生成紧凑Token，避免全图像重复编码，提升效率。模型在14个视频理解任务中表现优异，Token使用减少93%，TTFT降低86%。
关键结果
- 相较于标准VideoLM，CoPE-VideoLM在Token数量上节省高达93%，TTFT缩短86%，在多项任务中保持或超越性能，包括问答、运动推理、长视频理解和空间场景理解。实验证明，通过调节关键帧和码流原语密度，模型在不同任务中实现了良好的性能与效率平衡。
- 在PerceptionTest-80%、NextQA和ActivityNet-QA等基准上，模型在Token节省的同时，准确率提升了2-4个百分点，验证了编码原语的表达能力。多任务评估显示模型在时间和运动推理任务中表现优异，证明其对动态信息的捕获能力。
- 预训练的Δ-Encoder成功将运动向量和残差的表示空间与图像编码空间对齐，显著提升了端到端训练的收敛速度和模型性能。调研不同码流密度配置，模型在保持或超越基线性能的同时，显著降低计算成本。
研究意义
该研究突破了视频理解中对高效编码的瓶颈，将传统的全图像编码转变为利用视频压缩结构的稀疏表示，极大提升了模型的推理速度和实用性。通过引入码流原语，模型能够在保持细粒度动态信息的同时，显著减少计算资源，推动视频AI在实时交互、机器人和大规模视频分析中的应用。该方法为未来视频模型的结构设计提供了新思路，兼顾效率与性能，具有广泛的行业推广潜力。
技术贡献
本文创新性地将运动向量和残差作为稀疏Token引入视频语言模型，结合轻量Transformer编码器实现高效信息聚合。预训练策略确保码流原语与图像特征空间对齐，提升端到端训练效率。模型结构设计充分利用GOP结构，支持动态调节关键帧和码流密度，极大降低Token和计算成本。此方法在保持模型性能的同时，实现了Token使用和推理时间的双重优化，突破了现有视频理解模型的瓶颈。
新颖性
本研究首次将视频编码中的运动向量和残差作为稀疏Token，结合预训练的对齐策略，构建了支持动态调节的码流感知视频语言模型。与以往只处理RGB全图像或忽略码流结构的模型不同，本文充分利用视频压缩的结构特性，实现高效、可调节的长时序理解能力，具有明显的创新优势。
局限性
- 模型依赖于视频编码的GOP结构，可能在非标准编码或高压缩比场景下表现不佳，影响泛化能力。
- 在极端场景下，运动向量和残差的表达可能不足以捕获复杂运动或细节，限制模型在某些微动作识别任务中的表现。
- 预训练和编码器设计增加了系统复杂性，可能带来一定的训练和部署成本，需优化模型结构以适应不同硬件环境。
未来方向
未来可探索多模态编码策略，结合光流、深度信息等多源信号，丰富码流原语的表达能力。同时，优化编码器结构，降低预训练复杂度，提升模型在低资源环境下的适应性。此外，扩展模型应用范围至视频检索、行为识别等领域，推动视频理解技术的广泛应用。
AI 总览摘要
视频理解作为人工智能的重要方向，面临着高效编码和长时序建模的双重挑战。现有方法多依赖关键帧采样或全图像编码，导致信息缺失和计算成本高昂。本文提出的CoPE-VideoLM创新性地利用视频压缩中的运动向量和残差，作为稀疏Token，结合轻量Transformer编码器，有效捕获动态信息，显著降低Token使用（高达93%）和首次Token时间（86%）。通过预训练策略实现码流原语与图像特征空间的对齐，模型在14项视频理解任务中表现优异，兼顾效率与性能。该方法充分利用GOP结构，支持调节关键帧和码流密度，满足不同应用需求。实验结果显示，模型在问答、运动推理、长视频理解等任务中均优于传统模型，验证了其在实际场景中的潜力。未来，结合多模态信号和优化模型结构，将推动视频AI在实时交互、机器人和大规模视频分析中的应用普及。尽管如此，模型在非标准编码场景和复杂运动中仍存在一定局限，未来需进一步优化编码策略和模型泛化能力，以实现更广泛的应用价值。
深度解读
原文摘要
Video Language Models (VideoLMs) enable AI systems to understand temporal dynamics in videos. To fit within the maximum context window constraint, current methods use keyframe sampling which often misses both macro-level events and micro-level details due to the sparse temporal coverage. Furthermore, processing full images and their tokens for each frame incurs substantial computational overhead. We address these limitations by leveraging video codec primitives (specifically motion vectors and residuals) which natively encode video redundancy and sparsity without requiring expensive full-image encoding for most frames. To this end, we introduce lightweight transformer-based encoders that aggregate codec primitives and align their representations with image encoder embeddings through a pre-training strategy that accelerates convergence during end-to-end fine-tuning. Our approach, CoPE-VideoLM, reduces the time-to-first-token by up to 86% and token usage by up to 93% compared to standard VideoLMs. Moreover, by varying the keyframe and codec primitive densities we maintain or exceed performance on 14 diverse video understanding benchmarks spanning general question answering, temporal and motion reasoning, long-form understanding, and spatial scene understanding.