InternVideo: General Video Foundation Models via Generative and Discriminative Learning
InternVideo结合生成与判别自监督学习，达成Kinetics-400 91.1%准确率，覆盖39个视频任务。
核心发现
方法论
InternVideo采用视频掩码重建（VideoMAE）和视频-语言对比学习（CLIP基础）两大自监督框架，结合可学习的跨模态交互（CMA）实现特征融合。模型利用Vision Transformer（ViT）和UniformerV2架构，分别进行生成和判别训练，通过交叉注意力机制实现两者的动态融合。预训练数据涵盖12M视频片段，跨越多个领域，优化多任务迁移能力。模型在39个视频数据集上表现优异，包括动作识别、检测、视频-语言匹配等。
关键结果
- 在Kinetics-400上达91.1%的Top-1准确率，超越现有SOTA方法；在Something-Something V2达到77.2%，表现优异。模型在多任务上实现了显著提升，尤其在视频理解和多模态任务中表现出强大泛化能力。通过多模态对比和掩码重建的结合，模型在视频动作识别、检测、视频问答等任务中均优于单一方法。
- 在多个公开数据集上，InternVideo实现了跨任务的优异性能，验证了其通用性和迁移能力。实验还表明，模型的特征融合策略比单一训练方案更具优势，尤其在复杂场景中表现稳定。
- 模型的可扩展性得益于高效的预训练策略和模块化设计，支持大规模数据和模型扩展，为未来多模态视频理解提供基础。
研究意义
该研究突破了传统视频理解模型的局限，提出融合生成与判别的统一框架，有效提升多任务性能。其强大的迁移能力和泛化性，为视频分析、内容检索、开放域应用等提供了坚实基础。模型在多模态融合方面的创新，推动了视频理解从任务特定向通用智能的转变，具有深远的学术与工业价值。未来，基于此框架的多模态视频AI将更好地满足复杂场景下的智能需求，推动智能视频内容生成与理解的快速发展。
技术贡献
提出结合VideoMAE和多模态对比学习的统一视频表示学习框架，创新性地引入可学习的跨模态交互（CMA）模块，实现特征的动态融合。模型架构采用ViT和UniformerV2，有效兼顾空间与时间建模，支持大规模预训练。通过多任务训练策略，模型在动作识别、检测、视频问答等多个任务中实现SOTA，验证了其广泛适用性。此方法突破了单一任务导向的限制，为多模态视频理解提供了新思路。
新颖性
首次将生成式掩码重建与判别式对比学习结合，提出可学习的跨模态交互机制，实现多任务多模态的高效融合。不同于以往仅专注于单一任务或单一模态的模型，InternVideo实现了跨任务、跨模态的全面泛化，填补了视频基础模型在多任务场景中的空白。
局限性
- 模型训练依赖大量高质量预训练数据，数据获取成本高昂。
- 在极端复杂场景或长时序视频中，表现仍有提升空间，尤其在细粒度动作识别方面。
- 模型参数庞大，部署时对硬件要求较高，限制了实际应用的普及。
未来方向
未来将探索更高效的模型压缩与加速技术，提升模型在边缘设备上的部署能力。同时，结合强化学习和自适应机制，增强模型对新颖场景和少样本任务的适应性，推动多模态视频理解向更智能、更高效的方向发展。
AI 总览摘要
随着视频内容的日益丰富，如何实现高效、通用的理解模型成为研究热点。传统方法多依赖任务特定设计，难以兼顾多样化应用需求。InternVideo提出一种融合生成与判别自监督学习的统一框架，突破了现有模型在多任务、多模态场景下的局限。该模型利用VideoMAE进行视频掩码重建，捕获丰富的时空特征，同时借助CLIP基础的多模态对比学习，增强语义理解能力。通过引入可学习的跨模态交互（CMA）机制，模型实现了不同特征表示的动态融合，极大提升了多任务性能。在39个公开视频数据集上的实验中，InternVideo在动作识别、检测、视频问答等任务中均取得了SOTA表现，尤其在Kinetics-400上达91.1%的准确率，远超此前最佳方案。其强大的迁移能力和泛化性，为未来多模态视频AI奠定了基础。该研究不仅丰富了视频基础模型的理论体系，也为工业应用提供了强有力的技术支撑。未来，随着模型规模的扩大和优化，预计其在智能视频内容生成、内容检索、开放域理解等方面的潜力将进一步释放，推动视频智能化迈向新高度。
深度分析
研究背景
视频理解作为计算机视觉的重要方向，经历了从基于手工特征到深度学习的快速发展。早期模型如C3D、I3D主要依赖空间和短时序特征，逐渐演进到基于Transformer的架构如VideoTransformer。近年来，预训练模型如VideoMAE、CLIP等推动了视频理解的边界，但多任务、多模态的通用模型仍未成熟。现有方法多偏重于单一任务，缺乏跨任务的泛化能力，且在复杂场景下表现有限。随着视频内容的多样化和应用场景的扩大，亟需一种能在多个任务间迁移、融合不同模态信息的统一模型。
核心问题
现有视频理解模型多为任务特定或单模态，难以满足多任务、多模态的实际需求。视频数据的高维特性带来计算挑战，模型难以兼顾时空信息与语义理解的平衡。如何设计一个既能高效预训练，又能跨任务迁移的通用模型，是当前的核心难题。此外，模型在复杂场景下的鲁棒性和泛化能力仍需提升，尤其在细粒度动作识别和开放域应用中表现不足。
核心创新
本研究提出融合生成式掩码重建与判别式对比学习的统一框架，创新性引入可学习的跨模态交互（CMA）模块，实现多模态特征的动态融合。架构采用ViT和UniformerV2，支持大规模预训练，显著提升时空建模能力。结合多任务训练策略，模型在多项任务中实现SOTA，突破了单一任务导向的限制。此方法提供了多模态、多任务的高效融合新路径，为未来视频理解提供理论和技术基础。
方法详解
- �� 利用VideoMAE进行视频掩码重建，输入高比例掩码视频片段，训练模型学习丰富的时空特征。• 采用CLIP基础的多模态对比学习，通过视频和文本的对齐，增强语义理解能力。• 构建两个不同结构的Transformer（ViT和UniformerV2）分别进行生成和判别训练。• 引入可学习的跨模态交互（CMA）模块，通过交叉注意力实现特征的动态融合。• 训练过程中，模型先独立优化两个分支，再通过CMA进行融合，最后在多任务上微调。
实验设计
采用39个公开视频数据集，涵盖动作识别、检测、视频问答等任务。模型在Kinetics-400达91.1%准确率，超越所有SOTA方法。通过消融实验验证掩码重建和对比学习的互补性，模型在多任务上表现优异。不同规模模型（如ViT-H、Large）在多个数据集上均获得显著提升。训练细节包括使用12M视频数据，采用AdamW优化，预训练时间超过两周，硬件配置为128个NVIDIA A100 GPU。
结果分析
在Kinetics-400上，InternVideo达91.1%的Top-1准确率，优于之前的MaskFeat、CoCa等方法。在Something-Something V2达到77.2%，在多任务场景中表现出色。模型在动作检测、视频问答、视频检索等任务中均实现了SOTA，验证了其广泛适应能力。消融分析显示，融合生成与判别特征比单一训练方案效果更佳，跨模态交互提升了多任务性能。
应用场景
模型可广泛应用于视频内容检索、智能监控、自动视频标注、内容生成等场景。只需预训练模型和少量微调，即可实现多任务迁移，降低工业门槛。未来，结合边缘计算和硬件优化，模型有望在实时视频分析中发挥重要作用，推动智能视频内容产业的发展。
局限与展望
模型参数庞大，训练和部署成本高，限制在资源有限环境中的应用。在极端复杂或长时序视频中，细粒度动作识别仍有提升空间。数据依赖性强，预训练数据质量直接影响性能，未来需探索更高效的模型压缩与自适应机制。
通俗解读 非专业人士也能看懂
想象你在一家大型工厂，工厂里有很多不同的机器和工人，他们每天都在完成各种任务。有些机器专门用来组装，有些用来检测产品质量。为了让工厂更高效，管理者希望所有机器都能理解彼此的工作内容，甚至能帮忙完成一些复杂的任务。InternVideo就像是给工厂配备了一个超级智能的管理系统，它可以学习每台机器的工作方式，理解不同工序之间的关系，还能在不同任务间切换。它通过观察大量工厂的操作录像，学习如何识别动作、理解指令、找到问题。这样，无论是检测产品缺陷、追踪生产流程，还是回答工厂管理者的问题，它都能胜任。这个系统的特别之处在于，它既能自己学习（生成式），也能理解别的机器传来的信息（判别式），还会不断调整自己，变得更聪明。未来，这样的系统可以让工厂变得更智能、更自动化，生产效率大大提高。
简单解释 像给14岁少年讲一样
想象你在学校里，有很多不同的老师和学生。有时候，老师会用录像来教你如何做数学题，有时候你需要用视频来解释一个故事。InternVideo就像是一个超级聪明的学习伙伴，它可以看很多视频，学会识别动作、理解内容，还能用文字描述视频里的场景。它既像是在自己练习（自己看视频做题），也像是在和老师或同学交流（理解文字和视频的关系）。这个伙伴通过学习很多不同类型的视频，变得非常聪明，不仅能帮你找到喜欢的视频，还能回答你关于视频的问题。它的特别之处在于，它可以同时学习两种技能：一是自己看视频猜动作，二是理解视频和文字的关系。这样，无论你是在找动作、理解故事，还是问问题，它都能帮上忙。未来，这样的伙伴会让我们看视频、学习、交流变得更方便、更有趣，就像拥有一个会看会说的超级助手一样！
术语表
VideoMAE (视频掩码自编码器)
一种通过掩码部分视频帧，训练模型重建完整视频的自监督方法，提升时空特征学习能力。
用于视频掩码重建任务中。
Contrastive Learning (对比学习)
通过拉近相关样本的特征距离，推远无关样本，实现多模态语义对齐的自监督技术。
用于视频-文本对齐任务。
Cross-Model Attention (跨模态注意力)
在不同模型之间引入的注意力机制，用于动态融合多模态特征。
实现生成与判别特征的交互融合。
Vision Transformer (ViT)
基于Transformer架构的图像/视频特征提取模型，善于捕获长距离依赖。
作为基础编码器使用。
UniformerV2
结合局部与全局空间时间建模的Transformer变体，提升视频理解能力。
用于多模态对比学习中的视频编码。
开放问题 这项研究留下的未解疑问
- 1 如何进一步减少模型参数以适应边缘设备的部署需求，仍是未来的研究方向。
- 2 在极端复杂或长时序视频中的细粒度动作识别能力仍有待提升，特别是在实际应用中。
- 3 多模态融合的鲁棒性和解释性不足，未来需增强模型的透明度和可解释性。
应用场景
近期应用
视频内容检索
利用InternVideo实现多模态视频搜索，支持语音、文字、图像等多模态输入，提升检索效率和准确性。
智能监控
在监控场景中，快速识别异常行为或特定动作，增强安全性，减少人工监控成本。
远期愿景
智能内容生成
结合生成模型，实现自动视频剪辑、内容创作，推动娱乐和广告行业的变革。
原文摘要
The foundation models have recently shown excellent performance on a variety of downstream tasks in computer vision. However, most existing vision foundation models simply focus on image-level pretraining and adpation, which are limited for dynamic and complex video-level understanding tasks. To fill the gap, we present general video foundation models, InternVideo, by taking advantage of both generative and discriminative self-supervised video learning. Specifically, InternVideo efficiently explores masked video modeling and video-language contrastive learning as the pretraining objectives, and selectively coordinates video representations of these two complementary frameworks in a learnable manner to boost various video applications. Without bells and whistles, InternVideo achieves state-of-the-art performance on 39 video datasets from extensive tasks including video action recognition/detection, video-language alignment, and open-world video applications. Especially, our methods can obtain 91.1% and 77.2% top-1 accuracy on the challenging Kinetics-400 and Something-Something V2 benchmarks, respectively. All of these results effectively show the generality of our InternVideo for video understanding. The code will be released at https://github.com/OpenGVLab/InternVideo .