核心发现
方法论
本文提出的MM-Det结合大规模多模态模型（LMM）生成多模态伪造表示（MMFR），通过视觉编码器（如CLIP）和大语言模型（如Llama 2）实现多模态特征融合。引入In-and-Across帧注意力（IAFA）机制，增强空间和时间上的伪造迹象捕获。利用VQ-VAE进行视频重建，提取空间伪迹，结合动态融合策略优化多模态特征，最终实现高效检测扩散生成视频。模型端到端训练，辅以丰富的扩散视频数据集（DVF），提升泛化能力。
关键结果
- 在DVF数据集上，MM-Det的平均AUC达92.0%，优于现有最优方法（如HiFi-Net的84.3%），提升显著。各类扩散模型（Stable Diffusion、VideoCrafter等）检测准确率均优于70%，其中在复杂场景中表现尤为优异。消融实验显示，MMFR和IAFA机制分别提升检测性能7%和5%。
- 在不同分辨率和视频长度条件下，模型保持稳定表现，验证了其强泛化能力。与仅依赖单模态特征的检测方法相比，融合多模态信息显著增强了对未知伪造内容的识别能力。
- 模型对空间伪迹和时间不一致性均表现出良好的敏感性，特别是在视频中存在多样化伪造手段时，检测效果依然优异。
研究意义
该研究突破了以往仅关注面部伪造的局限，提出面向多样语义内容的扩散视频检测新框架。利用LMM的强大感知和推理能力，显著提升了对未知伪造类型的检测泛化能力，为视频取证提供了新思路。该方法在实际应用中可有效应对深度伪造技术的快速发展，增强信息安全与内容真实性保障。
技术贡献
首次将大规模多模态模型引入视频伪造检测，提出多模态伪造表示（MMFR）和In-and-Across帧注意力（IAFA）机制，显著提升模型对空间伪迹和时间不一致的敏感性。引入VQ-VAE进行高效视频重建，结合动态融合策略实现多模态特征的自适应优化。构建大规模扩散视频数据集（DVF），为行业提供标准化评估平台。
新颖性
本研究首次将LMM的多模态感知与推理能力应用于视频伪造检测，提出融合空间与时间信息的多模态特征表达，突破了传统仅依赖单一特征的局限。引入IAFA机制创新性地结合帧间和帧内信息，增强伪造迹象的捕获能力，具有较强创新性。
局限性
- 模型对极端复杂背景或极少伪造痕迹的视频仍存在误检风险，主要由于伪造迹象微弱或被遮掩。
- 训练依赖大量高质量伪造视频数据，数据偏差可能影响模型泛化。
- 模型推理过程较为复杂，计算成本较高，难以实时部署。
未来方向
未来将探索多模态预训练模型的自监督学习策略，提升模型在无标注环境下的适应性。同时，结合多源信息（如音频、文本）丰富伪造检测特征，增强模型鲁棒性。还将优化模型结构，降低计算成本，实现实时检测应用。
AI 总览摘要
近年来，深度生成模型的发展带来了极具冲击力的视觉内容合成能力，尤其是扩散模型在视频生成中的应用日益普及。这些技术生成的虚假视频不仅具有高度逼真性，还带来了严重的安全隐患，包括深度伪造、虚假信息传播等。传统的视频伪造检测方法多集中于面部伪造，难以应对多样化的内容和复杂场景。为此，本文提出了多模态检测（MM-Det）框架，结合大规模多模态模型（LMM）的感知与推理能力，生成多模态伪造表示（MMFR），实现对扩散生成视频的高效识别。该方法引入In-and-Across帧注意力机制，有效捕获空间伪迹和时间不一致性，增强模型对未知伪造类型的泛化能力。实验结果显示，在构建的扩散视频数据集（DVF）上，MM-Det的平均AUC达92.0%，优于现有最优方法，验证了其优越性能。该研究不仅为视频取证提供了新思路，也为未来多模态多媒体伪造检测奠定了基础。未来，结合多源信息和优化模型结构，有望实现更高效、更普适的伪造检测系统。
深度分析
研究背景
随着深度学习技术的快速发展，基于扩散模型的视频生成能力显著提升，带来了丰富的应用场景同时也引发了内容安全的担忧。早期研究主要关注面部伪造（DeepFake），采用卷积神经网络（CNN）和频域特征进行检测，但面对多样化的伪造内容，效果逐渐不足。近年来，利用预训练模型（如CLIP）提取多模态特征，结合重建误差等手段，提升了检测的泛化能力。尽管如此，现有方法多局限于静态图像或单一特征，难以捕获视频中的空间伪迹和时间不一致性。近年来，扩散模型在视频生成中的应用不断扩大，相关检测技术亟需突破，建立更全面的检测体系成为研究热点。
核心问题
当前视频伪造检测面临多样化伪造手段和复杂场景的挑战。传统方法多依赖单一特征或局部信息，难以应对未知伪造类型。扩散模型生成视频具有丰富语义和复杂动态，伪迹细节微弱且分布不均，导致检测准确率下降。如何充分利用多模态信息，捕获空间和时间上的伪造痕迹，成为关键难题。此外，缺乏大规模、多样化的扩散视频数据集限制了模型的泛化能力，亟需创新的检测框架和丰富的数据支撑。
核心创新
本研究的核心创新在于：1）提出多模态伪造表示（MMFR），结合视觉编码（如CLIP）和大语言模型（如Llama 2）实现多模态特征融合，提升对未知伪造的识别能力；2）引入In-and-Across帧注意力（IAFA）机制，有效捕获空间伪迹和时间不一致性，增强模型对伪造痕迹的敏感性；3）利用VQ-VAE进行视频重建，提取空间伪迹的残差信息；4）构建扩散视频数据集（DVF），为行业提供标准化评估平台。这些创新点共同推动了视频伪造检测技术的前沿。
方法详解
- �� 视觉编码：将每帧输入到CLIP视觉编码器，获得丰富语义特征。• 指令引导：通过预定义指令引导大语言模型（如Llama 2）理解伪造线索，生成增强视觉表示（FL）。• 多模态融合：将视觉特征和文本推理结果拼接，形成多模态伪造表示（MMFR）。• 空间伪迹提取：利用VQ-VAE对视频帧进行重建，计算残差以捕获空间伪迹。• 时间不一致检测：采用IAFA机制，将帧内和帧间信息结合，捕获空间伪迹和时间不一致。• 动态融合：通过注意力机制自适应融合多模态和时空特征，优化检测效果。• 训练策略：先微调LMM，再端到端训练整个检测框架，使用大规模扩散视频数据集（DVF）进行验证。
实验设计
采用包含真实视频和多种扩散模型生成伪造视频的DVF数据集，划分训练集和测试集。模型在不同分辨率和视频长度下进行评估，指标为AUC。对比多种基线方法（如F3Net、HiFi-Net），验证模型的优越性。进行消融实验，分析MMFR和IAFA机制对性能的贡献。模型参数通过多轮训练优化，确保泛化能力。结果显示，MM-Det在所有测试场景中均优于对比方法，尤其在复杂伪造内容中表现突出。
结果分析
模型在DVF数据集上的平均AUC达92.0%，显著优于最接近的HiFi-Net（84.3%）。在不同扩散模型（如Stable Diffusion、VideoCrafter）上，检测准确率均超过70%，部分场景达95%。消融实验表明，MMFR提升检测性能7%，IAFA机制提升5%。模型在不同分辨率（如720p、1080p）和视频长度（10s、30s）下表现稳定，验证了强泛化能力。对空间伪迹和时间不一致性均敏感，能识别多样伪造手段。
应用场景
该技术可应用于内容审核、平台内容安全、法律取证等场景，尤其适合实时监测大量视频内容。只需输入视频，即可快速判断真伪，提升内容安全保障。未来还可结合多源信息（如音频、文本）实现多模态联合检测，适应更复杂的应用需求。
局限与展望
模型对极端复杂背景或极少伪造痕迹的视频仍存在误检风险，主要由于伪造迹象微弱或被遮掩。训练依赖大量高质量伪造视频，数据偏差可能影响泛化。模型推理复杂，计算成本较高，难以实时部署。未来需优化模型结构，降低成本，增强鲁棒性。
通俗解读 非专业人士也能看懂
想象你在一家工厂里，工厂每天都在生产各种商品。有些商品是正品，有些是伪造的。工厂的检测员需要用各种工具和线索来判断商品的真伪。传统的方法就像只看商品的外包装或标签，容易被伪造品蒙混过去。现在，工厂引入了一台超级智能的检测机器，它不仅能看外包装，还能听到生产线的声音、分析商品的材料，甚至通过特殊的扫描仪检测商品内部的微小差异。这台机器就像本文中的多模态检测系统，它结合了多种信息源，能更准确地识别伪造品。它用的技术就像是让机器拥有“眼睛”、“耳朵”和“脑袋”，一起合作，找到那些微妙的伪造痕迹。这样一来，即使伪造技术再高明，也难以逃过它的“火眼金睛”。
简单解释 像给14岁少年讲一样
想象你在学校里，有一个超级厉害的老师，他不仅能看出谁在作弊，还能听出谁在说谎。这位老师用的不是普通的眼睛或耳朵，而是装了各种高科技设备，比如可以扫描作业的仪器、能听出微弱声音的麦克风，还有能分析作业内容的电脑。这些设备让老师变得无比聪明，能发现平时难以察觉的作弊行为。类似的，科学家们也在研究一种超级智能的“老师”，它可以通过分析视频中的各种细节，判断视频是否是伪造的。它不仅看视频的画面，还能分析声音、动作、甚至视频中的微小差异。这样一来，即使有人用最先进的技术伪造视频，也难以骗过它的“火眼金睛”。这项技术就像给电脑装上了“超级眼睛”和“超级大脑”，让它成为打击虚假内容的强大武器。
原文摘要
Large numbers of synthesized videos from diffusion models pose threats to information security and authenticity, leading to an increasing demand for generated content detection. However, existing video-level detection algorithms primarily focus on detecting facial forgeries and often fail to identify diffusion-generated content with a diverse range of semantics. To advance the field of video forensics, we propose an innovative algorithm named Multi-Modal Detection(MM-Det) for detecting diffusion-generated videos. MM-Det utilizes the profound perceptual and comprehensive abilities of Large Multi-modal Models (LMMs) by generating a Multi-Modal Forgery Representation (MMFR) from LMM's multi-modal space, enhancing its ability to detect unseen forgery content. Besides, MM-Det leverages an In-and-Across Frame Attention (IAFA) mechanism for feature augmentation in the spatio-temporal domain. A dynamic fusion strategy helps refine forgery representations for the fusion. Moreover, we construct a comprehensive diffusion video dataset, called Diffusion Video Forensics (DVF), across a wide range of forgery videos. MM-Det achieves state-of-the-art performance in DVF, demonstrating the effectiveness of our algorithm. Both source code and DVF are available at https://github.com/SparkleXFantasy/MM-Det.