核心发现
方法论
该方法结合知识引导的伪造检测器(KFD)、伪造提示学习器(FPL)与大规模语言模型(LLM)，实现多模态特征融合。KFD通过计算图像特征与真实/伪造描述的嵌入相关性，进行伪造分类与定位。FPL将检测输出转化为细粒度提示嵌入，结合视觉与问答提示，输入LLM生成文本响应。训练采用模拟伪造数据与多轮对话增强模型泛化与解释能力。
关键结果
- 在FF++、CDF2、DFD、DFDC等多个基准数据集上，提出的方法在AUC指标上均优于SOTA，FF++数据集达99.53%，跨数据集表现提升显著，验证了模型的强泛化能力。
- 模型支持多轮对话，能在不同场景下持续提供准确的深度伪造检测与定位信息，展现出良好的交互性与可解释性。
- 通过引入外部知识和细粒度提示，显著提升对未知伪造类型的检测能力，尤其在低质量或复杂场景中表现优异。
研究意义
该研究突破了传统深度伪造检测的局限，通过融合外部知识与多模态信息，显著增强模型的泛化能力和解释性，为安全监测、内容验证等应用提供了新思路。其多轮对话能力也为人机交互提供了更智能的解决方案，有助于推动深度伪造检测从封闭场景向开放、多样化应用转变。
技术贡献
提出知识引导的伪造检测器，结合图像特征与描述嵌入，提升检测鲁棒性。设计细粒度伪造提示学习器，增强模型对微妙伪造特征的敏感度。利用大规模预训练的视觉-语言模型，结合prompt调优，实现多轮交互与可解释性。创新性在于外部知识与多模态融合的深度结合，显著优于单一特征或纯深度学习方法。
新颖性
首次将知识引导的多模态特征关联机制应用于深fake检测，结合伪造描述与图像特征实现高效定位与分类。引入细粒度提示嵌入，增强模型对微观伪造痕迹的敏感度。与现有方法主要依赖数据增强或单一特征不同，本方案实现了跨场景、跨类型的强泛化能力。
局限性
- 模型在极端低质量或严重压缩的伪造内容中仍存在检测盲区，可能由于特征表达受损或描述不准确。
- 训练依赖模拟伪造数据，实际应用中面对真实未知伪造类型时仍需验证其鲁棒性。
- 模型复杂度较高，推理速度受限，可能不适用于实时检测场景。
未来方向
未来将探索无监督或少样本学习策略，提升模型对新型伪造的适应性。加强多模态知识库的构建，丰富外部信息源，提升模型解释性。还将优化模型结构以降低计算成本，实现端到端的实时检测能力。
AI 总览摘要
随着深度伪造技术的快速发展，传统检测方法面临泛化能力不足和解释性差的挑战。现有模型多依赖特征工程或数据增强，难以应对多样化伪造手段。本文提出一种基于大规模视觉-语言模型的深fake检测框架，融合知识引导的伪造检测器、细粒度提示学习器与多轮对话能力。
该方法首先利用预训练的多模态编码器，计算图像与描述的相关性，生成伪造一致性图，提升检测鲁棒性。然后通过伪造提示学习器，将检测输出转化为细粒度提示嵌入，结合视觉和问答提示，输入大模型生成检测结果。训练过程中采用模拟伪造数据和多轮对话，增强模型的泛化和解释能力。
在多个公开数据集上的实验结果显示，该方法在AUC指标上达99.53%，优于现有最优方案。跨数据集测试也验证了其强泛化能力，适应不同伪造类型和场景。此外，该模型支持多轮交互，能持续提供准确的伪造定位与解释，极大丰富了深fake检测的应用场景。
该研究为深fake检测提供了新思路，通过融合外部知识与多模态信息，突破了传统方法的局限。未来，将进一步优化模型效率，拓展无监督学习能力，推动深fake检测技术的实用化与普及。
深度分析
研究背景
深度学习推动的生成模型（如GAN、Diffusion）极大丰富了虚假内容的生成手段，带来内容真实性的挑战。早期方法多依赖特征工程或频域分析（如Wang et al., 2023a），取得一定成功，但泛化能力有限。近年来，基于深度特征和数据增强的检测模型（如Xception, FaceXRay+BI）在特定场景表现优异，但难以应对未知伪造类型。多模态学习和预训练模型（如BLIP-2, LLaVA）为检测提供新思路，但多缺乏外部知识引导，限制了泛化和解释能力。本文结合视觉-语言预训练模型，利用外部知识实现跨场景鲁棒检测，弥补了现有方法的不足。
核心问题
深fake检测面临微妙伪造痕迹难以捕捉、泛化能力不足和解释性差的问题。传统方法依赖特定特征或训练数据，难以适应新型伪造技术。模型在复杂场景或低质量内容中表现不佳，且缺乏对伪造机制的理解。如何结合外部知识、实现微观特征检测、提升模型泛化和可解释性，成为当前研究的核心难题。
核心创新
提出知识引导的伪造检测机制，结合图像内容与描述的相关性，提升鲁棒性；设计细粒度伪造提示学习器，将检测信息转化为自然语言提示，增强模型对微小伪造痕迹的敏感度；利用预训练的视觉-语言模型，结合prompt调优，实现多轮交互和解释能力。该方案突破了单一特征或纯深度学习的局限，显著提升跨场景泛化能力。
方法详解
- �� 利用预训练的ImageBind模型，提取图像和文本描述的特征。• 计算图像特征与伪造描述的相关性，生成一致性图。• 设计伪造定位器和分类器，基于相关性图进行伪造区域定位和二分类。• 训练采用模拟伪造数据（如Poisson融合）和多轮对话增强模型理解。• 构建伪造提示学习器，将检测输出转化为自然语言提示。• 结合视觉提示、问答提示和伪造提示，输入大模型生成检测结果。• 使用交替训练策略，优化模型的泛化和解释能力。
实验设计
采用FF++、CDF2、DFD、DFDC等公开数据集，评估模型的AUC和AP指标。训练细节包括使用Nvidia RTX 4090，50轮训练，学习率1e-4。对比多种SOTA方法，验证模型在单一和跨场景中的优越表现。还进行了消融实验，验证伪造提示和知识引导的贡献。模型支持多轮对话，能持续提供检测与定位信息。
结果分析
在FF++数据集上，检测AUC达99.53%，显著优于传统方法。跨数据集测试中，性能稳定，验证了强泛化能力。多轮对话能力使模型能持续提供伪造位置和解释，增强了实用性。引入知识引导后，模型对未知伪造类型的识别率提升，表现优异。
应用场景
该技术适用于内容平台、社交媒体、新闻验证等场景，能自动识别虚假内容，保障信息安全。需要配合视频/图像数据和文本描述，适合部署在后台监控系统或内容审核流程中。未来可结合实时检测硬件，支持大规模内容快速筛查。
局限与展望
模型在极端压缩或低质量伪造内容中仍存在检测盲区。训练依赖模拟伪造数据，面对真实未知伪造类型时可能表现不足。模型复杂度较高，推理速度有限，难以满足实时需求。未来需优化模型结构和训练策略，提升鲁棒性与效率。
通俗解读 非专业人士也能看懂
想象你在一个工厂里，工厂每天生产各种商品。有些商品可能被篡改，变成了假货。工厂的检测员（就像我们的模型）需要通过观察商品的细节，判断它们是否被篡改。传统的方法就像用放大镜，只看表面特征，但有些假货做得非常逼真，难以识别。现在，我们引入了一个聪明的助手（知识引导模型），它不仅用放大镜，还能参考工厂的知识库，比如“假货通常会有颜色不一致或细节不自然”。这个助手还能和工厂的检测员多次交流，逐步确认商品的真伪。这样一来，不仅提高了检测的准确率，还能解释为什么判定为假货。这个系统就像一个智能的工厂检测线，能在各种复杂场景下识别假货，确保商品的真实性。
简单解释 像给14岁少年讲一样
你知道在学校里，有时候有人会用照片或者视频做假，骗别人相信一些不是真的事情。比如有人用特殊软件把一个人的脸换成别人的，或者让视频看起来像是真的，但其实是假的。现在的技术变得非常厉害，假视频看起来和真的一样，让人很难分辨出来。科学家们想要开发一种聪明的检测工具，就像一个超级侦探，能找到这些假视频的线索。这个侦探不仅用眼睛观察，还能参考很多知识，比如“假视频通常会有颜色不自然或者脸部细节不一致”。它还能和你多次交流，告诉你哪里可能有问题。这样一来，我们就能更快、更准确地找到假视频，保护大家不被误导。这就像在学校里，有个特别聪明的老师，能帮你识别出那些伪装得很像真的作业，确保大家的学习环境真实可靠。
原文摘要
Current Large Vision-Language Models (LVLMs) have demonstrated remarkable capabilities in understanding multimodal data, but their potential remains underexplored for deepfake detection due to the misalignment of their knowledge and forensics patterns. To this end, we present a novel framework that unlocks LVLMs' potential capabilities for deepfake detection. Our framework includes a Knowledge-guided Forgery Detector (KFD), a Forgery Prompt Learner (FPL), and a Large Language Model (LLM). The KFD is used to calculate correlations between image features and pristine/deepfake image description embeddings, enabling forgery classification and localization. The outputs of the KFD are subsequently processed by the Forgery Prompt Learner to construct fine-grained forgery prompt embeddings. These embeddings, along with visual and question prompt embeddings, are fed into the LLM to generate textual detection responses. Extensive experiments on multiple benchmarks, including FF++, CDF2, DFD, DFDCP, DFDC, and DF40, demonstrate that our scheme surpasses state-of-the-art methods in generalization performance, while also supporting multi-turn dialogue capabilities.