核心发现
方法论
G2VD采用VAE为基础的反事实样本构建(CFIPipeline),通过频域与像素域对齐,削弱域偏差与真实性标签间的虚假相关。基于结构因果模型(SCM),设计了两个域锚定分支(因果与非因果),结合Hilbert-Schmidt Independence Criterion(HSIC)约束,促使模型学习内在的伪造线索与域偏差的解缠。训练过程中,CFIPipeline保持冻结状态,特征提取与因果解缠分类器共同优化,提升跨域泛化能力。
关键结果
- 在四个公开数据集上,G2VD-CLIP变体达成超过90%的整体准确率(ACC),比最优基线提升约25个百分点,F1指标提升0.194,AUC提升0.104,且仅用训练数据的10%。在GenVidBench中表现尤为突出,显示出优异的跨域适应性。
- 多模型对比显示,G2VD在不同骨干网络(如CLIP、XCLIP、Mamba)上均实现显著性能提升,尤其在难以区分的生成源(如MuseV、SVD)中表现优越,验证了因果解缠的有效性。
- 消融实验表明,反事实样本构建(CFIPipeline)贡献最大,结合因果解缠进一步提升模型稳定性与泛化能力,验证了两者的互补作用。
研究意义
该研究突破了视频伪造检测中依赖域偏差的瓶颈,提出的因果解缠框架有效缓解了shortcut learning问题,为模型在未知生成器上的鲁棒性提供了理论基础。其跨域泛化能力极大推动了深度伪造检测技术的实用化,满足安全监测、内容验证等行业需求,具有重要的学术与工业价值。
技术贡献
创新点在于引入结构因果模型指导的特征解缠,结合VAE反事实样本生成与频像域对齐,有效分离伪造线索与域偏差。提出HSIC正则化保证了因果与非因果特征的统计独立,为跨域检测提供了理论保证。模型在多源、多域场景中均表现优异,显著优于现有的频域增强和特征对齐方法。
新颖性
首次将结构因果模型应用于AI生成视频检测,结合反事实干预与因果解缠,系统性解决了shortcut learning问题。不同于传统仅依赖频域或特征增强的技术,该方法从因果角度出发,强调因果特征的稳定性与泛化能力,为深度伪造检测提供新思路。
局限性
- 模型依赖大量预训练VAE样本,训练成本较高,且对不同生成模型的适应性仍需进一步验证。
- 在极端复杂场景(如多模态、多源干扰)下,模型的鲁棒性尚未充分测试。
- 部分生成源的高相似性可能导致因果特征仍存在一定混淆,未来需引入更细粒度的因果关系建模。
未来方向
未来将探索多模态信息融合,增强模型对多源、多模态伪造的识别能力。同时,结合元学习与自监督技术,提升模型在极少样本或无样本场景下的泛化能力。进一步优化反事实样本生成策略,降低训练成本,扩展到视频深度伪造的实时检测场景。
AI 总览摘要
随着AI视频生成技术的飞速发展,伪造视频的检测成为信息安全领域的关键挑战。现有方法多依赖于特定生成源的特征,难以应对未知生成器带来的域偏差,导致泛化能力不足。为此,本文提出G2VD框架,结合反事实干预与因果解缠,从根本上缓解shortcut learning问题。
G2VD的核心在于构建反事实样本(X*cf),通过VAE重建与频像域对齐,削弱域偏差与真实性标签的虚假相关。基于结构因果模型,设计两个域锚定分支(因果与非因果),利用HSIC正则化实现特征的统计独立,促使模型学习到稳健的伪造线索。训练过程中,反事实样本生成模块保持冻结状态,特征提取与因果解缠分类器共同优化。
在四个公开数据集上的实验结果显示,G2VD在跨域检测中表现优异,整体准确率超过90%,比最优基线提升约25个百分点。不同骨干网络的变体均验证了方法的普适性,尤其在难辨源(如MuseV、SVD)中表现突出。消融分析表明,反事实样本构建贡献最大,因果解缠进一步增强模型鲁棒性。
该研究为深度伪造检测提供了新的理论框架,展示了因果学习在跨域泛化中的潜力。未来,结合多模态信息与自监督技术,有望实现更高效、更鲁棒的实时检测系统,推动AI内容验证技术的产业化落地。
深度分析
研究背景
近年来,AI视频生成技术迅速发展,代表模型包括Stable Video Diffusion、CogVideoX等,极大丰富了内容创作手段。然而,随之而来的伪造视频泛滥带来严重的安全隐患,如虚假信息传播、身份欺诈等。早期检测方法多依赖于面部深度伪造的频域特征或空间不一致性,逐步扩展到多模态、多内容场景。近年来,频域增强、特征对齐等技术提升了检测性能,但在面对未知生成源时,模型依然表现脆弱,主要源于shortcut learning问题。因果学习逐渐成为解决泛化问题的研究热点,旨在从因果角度分离稳健的伪造线索与域偏差,为检测模型提供更强的迁移能力。
核心问题
当前深度伪造检测模型在已知源上表现良好,但在新出现的生成器或不同域环境中性能急剧下降,表现出明显的泛化不足。其核心瓶颈在于模型过度依赖域特定的偏差(如生成指纹、压缩特征),而非内在的伪造线索。这导致模型在面对未见过的生成源时,容易受到虚假相关的干扰,出现误判。解决这一问题的关键在于如何有效分离因果(伪造线索)与非因果(域偏差)特征,从而实现跨域鲁棒检测。
核心创新
本研究的创新在于引入结构因果模型(SCM)指导的特征解缠,结合VAE反事实样本构建与频像域对齐技术,有效分离伪造线索与域偏差。具体包括:• 设计反事实样本(X*cf)通过VAE重建与频域像素域对齐,削弱偏差与标签的虚假相关;• 构建两个域锚定分支(因果与非因果),利用HSIC正则化实现特征统计独立;• 训练过程中,保持反事实样本生成模块冻结,优化特征提取与解缠分类器。该方法在多源、多域场景中表现优越,显著优于传统频域增强和特征对齐技术。
方法详解
- �� 采用VAE为基础的反事实样本构建(CFIPipeline),通过重建与频域像素域对齐,生成与真实样本不同的反事实样本,减少偏差相关。
- �� 利用结构因果模型,将视频生成过程建模为因果(伪造线索)与非因果(域偏差)两个因素,构建两个域锚定分支(因果与非因果),分别学习对应的特征表示。
- �� 在训练中引入HSIC正则化,确保两个分支的特征统计独立,增强模型对伪造线索的稳健性。
- �� 训练目标包括分类损失(区分真假视频)、域偏差正则(鼓励非因果特征学习)和HSIC正则(特征解缠),共同优化模型。
- �� 在推理阶段,去除反事实样本生成模块与非因果分支,仅用特征提取器和因果分支进行预测,提升效率。
实验设计
- �� 采用GenVidBench、GenVideo、GVD、GVF四个公开数据集,涵盖多源、多域场景,验证模型的跨域泛化能力。
- �� 训练采用随机采样的10%训练集,评估在未见源上的性能表现,指标包括ACC、F1、AUC。
- �� 比较多种基线模型(如CLIP、XCLIP、TimeSformer等),通过消融实验验证CFIPipeline和因果解缠的贡献。
- �� 采用不同骨干网络(如CLIP、Mamba)进行验证,确保方法的普适性。
- �� 进行源域与跨域性能分析,特别关注难辨源(如MuseV、SVD)中的检测效果。
结果分析
- �� G2VD-CLIP在跨域检测中达成90%以上的整体准确率,比最优基线提升约25个百分点,F1和AUC指标也显著优越。
- �� 在不同生成源(如MuseV、SVD)中表现优异,验证了因果解缠的有效性,特别在难辨源中提升明显。
- �� 消融实验显示,反事实样本构建(CFIPipeline)贡献最大,结合因果解缠后模型稳定性增强,泛化能力显著提升。
- �� 多模型验证表明,方法具有良好的适应性和一致性,验证了其在实际应用中的潜力。
应用场景
- �� 适用于内容平台、社交媒体、新闻验证等场景,帮助自动识别AI伪造视频,维护信息安全。
- �� 需要配合预训练的VAE模型与多源数据,适合大规模部署于内容审核系统。
- �� 长远来看,结合多模态信息与实时检测技术,有望实现更智能、更高效的内容验证体系,推动行业标准制定。
局限与展望
- �� 依赖大量预训练VAE样本,训练成本较高,且在极端复杂场景下鲁棒性尚待验证。
- �� 对高度相似的生成源仍存在一定的识别难度,未来需引入更细粒度的因果关系建模。
- �� 模型在实时检测中可能面临计算瓶颈,需优化推理速度与效率。
通俗解读 非专业人士也能看懂
想象你在一家工厂里,工厂里有很多不同的机器在生产不同的商品。有些机器会留下特定的痕迹,比如特定的喷漆方式或特定的包装风格。这些痕迹就像视频中的生成指纹,但有时候不同的机器会用类似的包装方式,让人很难分辨哪个是真正的商品,哪个是伪造的。工厂的任务就是找到那些真正的商品的“秘密标记”,而不是被机器的包装风格迷惑。G2VD就像是一个聪明的检测员,他通过学习这些“秘密标记”,还能在不同的机器生产的商品中找到真伪,从而避免被伪造品欺骗。它用一种特别的方法,先制造一些“假货”,让自己变得更聪明,然后用这些“假货”训练自己,最后能在任何机器生产的商品中都准确识别出真假。这就像你学会了辨别不同工厂的商品,无论它们怎么变样,都能找到真正的商品所在。
简单解释 像给14岁少年讲一样
想象你在学校里,有很多朋友会用不同的方法做作业。有些朋友用了作弊的办法,偷偷抄袭别人的答案,但他们的作业会留下特殊的痕迹。老师想要找到这些作弊的作业,但不同的作弊方法让老师很难一眼看出真假。于是,老师设计了一种特别的检测工具,它不仅看作业的内容,还能分析作业的“痕迹”和“风格”。这个工具会先制造一些“假作业”,让自己学习各种不同的作弊痕迹,然后用这些“假作业”训练自己变得更聪明。最后,它可以在任何朋友的作业中找到那些隐藏的作弊痕迹,无论他们怎么变样,都能识别出真假。就像你用放大镜和分析器,找到那些别人试图隐藏的秘密一样,这个工具用科学的方法帮老师识别伪造的作业,保证考试的公平。
原文摘要
Rapid advances in AI video generation pose increasing security risks and call for reliable detectors with strong cross-domain generalization. Although existing methods perform well under in-domain evaluation, their performance degrades substantially on unseen generators. A key reason is shortcut learning, where detectors rely on domain-specific bias rather than intrinsic forensic cues. To address this issue, we propose G2VD, a generalizable AI-generated video detection framework based on counterfactual intervention and causal disentanglement. First, G2VD introduces a counterfactual intervention pipeline (CFIPipeline) that constructs counterfactual samples through VAE-based reconstruction and subsequent frequency-domain and pixel-domain alignment, thereby weakening spurious correlations between domain-specific bias and authenticity labels. Building on this intervention, we further design a causal disentanglement classifier that combines two domain-anchored branches with complementary objectives and a constraint based on the Hilbert-Schmidt Independence Criterion (HSIC), encouraging the causal and non-causal representations to capture intrinsic forensic cues and domain-specific bias, respectively. Experiments across four public datasets demonstrate strong cross-domain performance and consistent gains over baseline methods. In the challenging GenVidBench setting, G2VD achieves over 90\% overall ACC, with improvements of 0.194 in F1 and 0.104 in AUC over comparable state-of-the-art methods, while using only 10\% of the available training data. Code is available at https://github.com/DMOSCAR-98/G2VD.