VidForensics-M1: Meta-Detection Reinforcement Learning with Verifiable Temporal Grounding for AI-Generated Video Forensics

TL;DR

引入元检测强化学习,结合可验证的时间定位,提升AI生成视频的检测准确率,实验证明在ViF-Bench上F1达75.39%。

cs.CV 🔴 高级 2026-08-12 122 次浏览
Bowei Liu Zheng Lu Yuhan Bian Xinchen Zhang Xingming Shui Yuesheng Huang Xuhuan Li Zihao Liu Yifan Yang Jun Zhou Xiu Li
视频取证 深度学习 强化学习 元检测 时间定位

核心发现

方法论

本文提出VidForensics-M1框架,结合元检测(Meta-Detection)和强化学习(Reinforcement Learning, RL),利用可验证的时间定位(Verifiable Temporal Grounding)作为监督信号。核心创新在于引入证据引导的奖励重分配机制(Evidence-Guided Reward Redistribution, EGRR),通过自动构建真实与伪造视频对,利用边界帧条件生成模型(Boundary-Frame-Conditioned Video Generation)实现可控伪造。模型在训练过程中同时优化预测标签和支持证据,增强检测的泛化能力。具体算法包括基于边界帧的时间段重建、利用IoU指标进行时间定位验证,以及通过证据质量调整奖励分配,确保模型在面对未知生成器时仍具备鲁棒性。实验中采用InternVid和ActivityNet数据集,结合多种生成模型(如DeepTraceReward、BusterX++等)进行评估,验证了方法在检测准确率、泛化能力和伪造定位精度上的优越表现。

关键结果

  • 在ViF-Bench数据集上,VidForensics-M1实现了F1分数75.39%,明显优于传统基于标签的检测方法(如BusterX++的56.43%)和文本解释引导的模型(如DeepTraceReward的66.39%),表现出极强的鲁棒性和泛化能力。
  • 引入时间定位的证据机制显著提升了模型对复杂伪造场景的识别能力,特别是在伪造片段边界模糊或变形严重的情况下,检测准确率提升了20%以上。
  • 奖励重分配机制有效缓解了模型的奖励偏差问题,使得模型在面对不同生成器和场景时,仍能保持稳定的检测性能,验证了EGRR在强化学习中的有效性。

研究意义

该研究突破了传统检测方法对粗糙监督信号的依赖,提出结合可验证时间证据的元检测策略,为AI生成视频的真实性验证提供了新的技术路径。其在提升检测鲁棒性、泛化能力和伪造定位精度方面具有重要意义,特别是在应对不断演进的深度伪造技术时,为数字媒体的可信性保障提供了坚实基础。未来,该方法有望推广至更大规模、多模态的视频检测场景,推动视频取证技术的行业标准制定。

技术贡献

本文的核心技术创新在于引入元检测框架,将证据信号融入强化学习中,实现标签和证据的联合优化。提出基于边界帧的自动数据构建流程,确保伪造片段的时间定位具有客观可验证性。设计了证据引导的奖励重分配机制(EGRR),通过动态调整奖励分配,增强模型对细粒度伪造迹象的识别能力。这一机制在理论上证明了其在保持原有标签优化目标的同时,有效引导模型关注可靠证据,从而提升检测的泛化性和解释性。该方法结合了深度生成模型、时间定位指标和强化学习策略,为视频取证提供了全新的技术组合。

新颖性

本研究首次将元检测引入AI生成视频检测领域,突破了传统监督和标签级强化学习的局限。通过规则驱动的时间定位提供客观、可验证的伪造证据,优于依赖外部模型生成的文本说明,避免了语义偏差和虚假监督的问题。引入证据引导的奖励重分配机制,创新性地实现了在保持标签正确性的基础上,强化对伪造细节的识别能力。这些创新点共同推动了视频取证技术向更高的鲁棒性和可解释性发展。

局限性

  • 当前方法依赖于边界帧条件生成模型,受限于生成模型的质量和多样性,可能在极端伪造场景下表现不足。
  • 自动数据构建流程虽然高效,但在真实复杂场景中可能存在时间定位误差,影响证据可信度。
  • 模型训练过程中对时间定位和奖励机制的调优较为复杂,可能需要大量超参数调整以适应不同数据分布。

未来方向

未来将探索多模态证据融合(如结合声音、运动信息)以提升检测鲁棒性,扩展到更大规模、多样化的真实场景中。同时,研究更强的生成模型以模拟复杂伪造,提升模型的适应性和泛化能力。此外,结合可解释性技术,增强模型对伪造位置和机制的解释能力,为数字媒体的可信验证提供更全面的解决方案。

AI 总览摘要

在数字内容日益丰富的今天,虚假视频的泛滥成为威胁信息真实性的重要挑战。随着深度学习和生成模型的快速发展,AI生成的视频变得越来越逼真,难以用传统检测手段识别。现有方法多依赖于监督学习或标签级强化学习,受限于粗糙的 supervision 信号,难以应对新兴的生成技术和复杂场景。为此,本文提出了VidForensics-M1框架,融合了元检测(Meta-Detection)和强化学习(Reinforcement Learning),引入可验证的时间定位(Verifiable Temporal Grounding)作为核心证据,显著提升了检测的鲁棒性和泛化能力。

该方法的核心创新在于设计了证据引导的奖励重分配机制(EGRR),通过自动构建真实与伪造视频对,利用边界帧条件生成模型实现可控伪造。模型在训练过程中同时优化预测标签和支持证据,确保检测不仅准确,还具有可解释性和可验证性。实验结果显示,在ViF-Bench数据集上,VidForensics-M1的F1得分达到了75.39%,优于多种基准方法,验证了其在复杂伪造场景中的优越表现。

这一技术突破为数字媒体的可信验证提供了新的解决方案,尤其在应对不断演变的深度伪造技术时,展现出强大的适应性和扩展性。未来,结合多模态证据和更先进的生成模型,有望推动视频取证技术迈向更高的水平,为社会信息安全保驾护航。

深度分析

研究背景

随着深度学习和生成模型的发展,虚假视频的制作变得愈发逼真,给数字媒体的真实性带来了巨大挑战。早期的伪造检测主要依赖于图像和视频的特征分析,如光流、噪声模式等,但这些方法在面对新型伪造技术时逐渐失效。近年来,基于深度神经网络的检测方法不断涌现,例如DAVID-XR1、DeepTraceReward和BusterX++,它们通过学习伪造特征或利用外部解释模型提升检测能力。然而,这些方法普遍依赖于粗粒度的 supervision 信号,缺乏对伪造细节的细粒度定位,且在面对未知生成器时表现不佳。随着生成模型的不断进步,伪造场景变得更加复杂,传统检测方法难以满足实际需求。因此,研究者开始探索结合时间定位和可验证证据的检测策略,以提升模型的鲁棒性和解释性。

核心问题

现有检测方法多依赖于标签或外部模型生成的文本解释,存在监督信号不充分、偏差大、泛化能力差的问题。尤其是在面对新兴生成模型时,模型容易陷入虚假特征的陷阱,导致误判率升高。此外,缺乏可验证的伪造证据限制了检测结果的可信度和可解释性。如何设计一种既能提供细粒度伪造定位,又能保证证据可靠的检测框架,成为亟待解决的核心问题。另一方面,伪造场景的多样性和复杂性要求检测模型具备强大的泛化能力,避免过拟合于特定特征或伪造技术。

核心创新

本文的创新点主要体现在三个方面:首先,提出元检测(Meta-Detection)框架,将证据信号融入强化学习中,实现预测标签与支持证据的联合优化,增强模型的鲁棒性。其次,采用基于规则的时间定位(Verifiable Temporal Grounding),通过自动构建真实与伪造视频对,获得客观、可验证的伪造时间段,有效避免外部模型偏差。再次,设计了证据引导的奖励重分配机制(EGRR),在强化学习中动态调整奖励分配,强化模型对细粒度伪造迹象的识别能力。这些创新共同推动了视频取证技术的前沿发展。

方法详解

  • �� 数据构建:从InternVid和ActivityNet采集真实视频,随机抽取时间段,利用边界帧条件生成模型(Boundary-Frame-Conditioned Video Generation)重建缺失内容,形成伪造视频。通过比对原始和伪造视频的时间段,获得真实的伪造区间,确保标注的客观性。
  • �� 证据提取:利用规则定义的时间段,结合几何变形、时间不一致和物理违规等可观察伪造迹象,自动生成伪造证据,避免语义偏差。
  • �� 强化学习:采用基于奖励的策略优化(如GRPO),在训练过程中引入元检测机制,联合优化标签预测和证据可信度。
  • �� 奖励重分配:设计EGRR,根据证据质量调整奖励分配,将高质量证据响应获得更高奖励,低质量响应受到惩罚,确保模型关注可靠证据。
  • �� 训练流程:模型在多轮迭代中逐步学习识别伪造片段,验证其在ViF-Bench等数据集上的检测性能,并进行消融分析验证各组件的贡献。

实验设计

采用InternVid和ActivityNet作为训练和测试数据,比较多种生成模型(DeepTraceReward、BusterX++等)在伪造检测中的表现。指标包括准确率(Accuracy)、召回率(Recall)和F1分数,特别关注伪造片段的时间定位精度(IoU指标)。通过不同的训练策略(如纯标签监督、文本引导、元检测+奖励重分配)进行对比,验证EGRR在缓解奖励偏差和提升泛化能力方面的有效性。还设计了消融实验,分析时间定位、证据质量和奖励机制对检测性能的影响。实验结果显示,VidForensics-M1在多场景下均优于现有方法,尤其在复杂伪造场景中表现出更强的鲁棒性。

结果分析

在ViF-Bench上,VidForensics-M1实现了75.39%的F1分数,明显优于传统方法(如BusterX++的56.43%)和基于文本的引导模型(如DeepTraceReward的66.39%)。引入时间定位的证据机制,使伪造片段检测的IoU提升至0.81,远超基线的0.27。此外,奖励重分配机制显著改善模型对复杂伪造场景的识别能力,减少了误判和漏检。模型在面对未知生成器时,仍能保持较高的检测准确率和定位精度,验证了其良好的泛化能力。这些结果充分证明了元检测和证据引导机制在视频取证中的潜力。

应用场景

该技术可广泛应用于新闻媒体、司法取证、内容审核和社交平台等场景,帮助识别和定位AI伪造视频,保障信息真实性。只需提供待检测视频,结合预训练模型和伪造片段的时间定位信息,即可实现高效检测。未来,结合多模态信息(如音频、运动轨迹)和大规模视频库,有望实现自动化、实时的内容验证系统,极大提升数字内容的可信度。

局限与展望

当前方法依赖于边界帧条件生成模型,生成模型的局限性可能导致伪造场景的多样性不足,影响检测效果。自动数据构建流程在极端伪造或复杂场景中可能存在时间定位误差,影响证据的可信度。模型训练复杂,调参繁琐,且对硬件资源要求较高,限制了其在大规模应用中的推广。此外,模型对新型伪造技术的适应性仍需验证,未来需结合更强的生成模型和多模态证据以提升鲁棒性。

通俗解读 非专业人士也能看懂

想象你在一家工厂里工作,工厂每天生产各种商品。有时,工厂会出现问题,比如产品被篡改或伪造。为了确保每个产品都是正品,工厂会使用一种特殊的检测系统。这套系统不仅会检查产品的外观,还会追踪生产的每个环节,确保没有被篡改。它会用一些特殊的标记和时间戳来验证产品的真实性。即使有人试图伪造产品,只要他们改变了时间或细节,系统就能发现。这个检测系统就像我们这篇论文中的方法,利用时间定位和证据,帮助识别伪造的视频,确保我们看到的内容是真实的。它通过自动构建真实和伪造的样本,学习如何识别细微的伪造痕迹,就像工厂的质量检测一样,变得越来越聪明,能在复杂场景中识别出假货。

简单解释 像给14岁少年讲一样

想象你在学校里,有一个超级厉害的老师,他能用时间和细节来判断一段视频是否被篡改。比如,他会看视频的某个片段是不是有点奇怪,比如颜色变得不自然,或者运动不连贯。老师还会用一种特殊的“时间追踪器”来标记那些被改动的部分,就像用尺子测量时间段一样。这样,即使有人用AI技术伪造视频,只要他们在某个时间段做了改动,老师都能发现。这个方法就像论文里的新技术,用时间和证据来帮忙找出伪造的视频,比只看表面更可靠。它还能自动学习,变得越来越聪明,能在各种复杂的场景下找到伪造的痕迹,就像一个非常聪明的侦探一样。

原文摘要

Recent advances in video generation models have significantly improved the realism of synthetic videos, blurring the boundary between generated and authentic content and raising concerns about misinformation. Existing MLLM-based detectors mainly rely on supervised fine-tuning or label-level reinforcement learning, where coarse supervision limits generalization to unseen scenarios and emerging video generators. To overcome these limitations, we are the first to introduce \textbf{meta-detection} into AI-generated video detection, enabling reliable forgery detection by jointly optimizing predicted labels and supporting evidence within reinforcement learning. This paradigm requires reliable evidence signals and effective mechanisms to integrate them into label-level optimization. Textual rationales provide semantic descriptions of forgery artifacts, but their generation and verification depend on external models, making supervision vulnerable to hallucinations and semantic biases. In contrast, temporal grounding provides more objective and verifiable evidence, as manipulated intervals can be precisely controlled during forgery construction. Based on this insight, we propose an automated data construction pipeline that generates paired real-fake videos by replacing temporal segments with boundary-frame-conditioned video generation models. Furthermore, we introduce \textbf{Evidence-Guided Reward Redistribution}, which performs evidence-aware credit assignment by redistributing rewards among label-correct responses according to evidence quality. This preserves reliable label supervision while encouraging detectors to acquire fine-grained and verifiable forgery localization capabilities. Extensive experiments demonstrate that \textbf{VidForensics-M1} effectively leverages verifiable temporal evidence to achieve robust and generalizable AI-generated video detection.

cs.CV

参考文献 (20)

DAVID-XR1: Detecting AI-Generated Videos with Explainable Reasoning

Yifeng Gao, Yifan Ding, Hongyu Su 等

2025 8 引用 ⭐ 高影响力 查看解读 →

Skyra: AI-Generated Video Detection via Grounded Artifact Reasoning

Yifei Li, Wenzhao Zheng, Yanran Zhang 等

2025 18 引用 ⭐ 高影响力 查看解读 →

A Sanity Check for AI-generated Image Detection

Shilin Yan, Ouxiang Li, Jiayin Cai 等

2024 223 引用 查看解读 →

Zero-shot 3D-Aware Trajectory-Guided image-to-video generation via Test-Time Training

Ruicheng Zhang, Jun Zhou, Zunnan Xu 等

2025 6 引用 查看解读 →

Generative Universal Verifier as Multimodal Meta-Reasoner

Xinchen Zhang, Xiaoying Zhang, Youbin Wu 等

2025 16 引用 查看解读 →

DeMamba: AI-Generated Video Detection on Million-Scale GenVideo Benchmark

Haoxing Chen, Yan Hong, Zizheng Huang 等

2024 93 引用 查看解读 →

Seeing What Matters: Generalizable AI-generated Video Detection with Forensic-Oriented Augmentation

Riccardo Corvi, D. Cozzolino, Ekta Prashnani 等

2025 20 引用 查看解读 →

Grounded-VideoLLM: Sharpening Fine-grained Temporal Grounding in Video Large Language Models

Haibo Wang, Zhiyang Xu, Yu Cheng 等

2024 88 引用 查看解读 →

LAA-Net: Localized Artifact Attention Network for Quality-Agnostic and Generalizable Deepfake Detection

Dat Nguyen, Nesryne Mejri, I. Singh 等

2024 135 引用 查看解读 →

Exploring Unbiased Deepfake Detection via Token-Level Shuffling and Mixing

Xinghe Fu, Zhiyuan Yan, Taiping Yao 等

2025 53 引用 查看解读 →

LTX-Video: Realtime Video Latent Diffusion

Yoav HaCohen, Nisan Chiprut, Benny Brazowski 等

2024 524 引用 查看解读 →

VidGuard-R1: AI-Generated Video Detection and Explanation via Reasoning MLLMs and RL

Kyoungjun Park, Yifan Yang, Juheon Yi 等

2025 13 引用 查看解读 →

CubeComposer: Spatio-Temporal Autoregressive 4K 360° Video Generation from Perspective Video

Lingen Li, Guangzhi Wang, Xiaoyu Li 等

2026 4 引用 查看解读 →

BusterX: MLLM-Powered AI-Generated Video Forgery Detection and Explanation

Haiquan Wen, Yiwei He, Zhenglin Huang 等

2025 24 引用 查看解读 →

DAPO: An Open-Source LLM Reinforcement Learning System at Scale

Qiying Yu, Zheng Zhang, Ruofei Zhu 等

2025 2365 引用 查看解读 →

Concrete Problems in AI Safety

Dario Amodei, Chris Olah, J. Steinhardt 等

2016 3361 引用 查看解读 →

BusterX++: Towards Unified Cross-Modal AI-Generated Content Detection and Explanation with MLLM

Haiquan Wen, Tianxiao Li, Zhenglin Huang 等

2025 23 引用 查看解读 →

Learning Human-Perceived Fakeness in AI-Generated Videos via Multimodal LLMs

Xingyu Fu, Siyi Liu, Yinuo Xu 等

2025 12 引用 查看解读 →

Transcending Forgery Specificity with Latent Space Augmentation for Generalizable Deepfake Detection

Zhiyuan Yan, Yuhao Luo, Siwei Lyu 等

2023 216 引用 查看解读 →

OmniVerifier-M1: Multimodal Meta-Verifier with Explicit Structured Recalibration

Xinchen Zhang, Bo Liu, Jiale Liu 等

2026 1 引用 查看解读 →