Deep Residual Injection for Full-Spectrum Forensic Signal Perception in Multimodal Large Language Models
Deep-VRM通过残差注入实现全谱法医信号感知,在GenImage数据集上达到97.42%准确率。
核心发现
方法论
本文提出了一种新的多模态大语言模型架构,称为Deep Visual Residual MLLM (Deep-VRM)。该方法通过在中间层注入特定的视觉信号,保留早期语义处理,并将这些信号与语义标记表示融合,进而通过后续可训练层传播。这使得后期层能够共同建模语义推理和信号级别的法医线索。
关键结果
- 在GenImage数据集上,Deep-VRM实现了97.42%的平均准确率,显著优于现有方法。
- 在SynthBuster数据集上,Deep-VRM在假图像检测中达到了94.50%的准确率。
- 在野生场景中,Deep-VRM在WildRF和AIGI-Bench数据集上分别达到了89.51%和90.48%的准确率。
研究意义
该研究通过创新的残差注入策略解决了多模态大语言模型在法医检测中的语义与低级特征冲突问题。它不仅提高了检测性能,还为未来的法医检测方法提供了新的思路。
技术贡献
Deep-VRM通过残差注入策略有效地将低级生成器痕迹与语义信息分离,避免了语义能力的损害。这种方法不需要外部专家检测器,完全依赖于MLLM,展示了新的工程可能性。
新颖性
这是首次将残差注入应用于多模态大语言模型的法医信号感知。与之前的方法相比,Deep-VRM通过在深层注入低级特征,避免了早期层的语义干扰。
局限性
- 在处理极端压缩图像时,模型的性能可能会下降,因为压缩可能会消除低级生成器痕迹。
- 模型需要大量计算资源进行训练,可能不适合资源有限的环境。
- 在某些特定场景下,模型可能无法识别非常微弱的生成器痕迹。
未来方向
未来的研究可以探索如何在更低的计算成本下实现类似的检测性能,以及如何进一步提高模型在极端压缩图像上的鲁棒性。
AI 总览摘要
随着AI生成内容的增加,数字信任危机日益加剧。现有的多模态大语言模型在法医检测中面临语义与低级特征冲突的问题。本文提出了一种新的架构Deep-VRM,通过残差注入策略解决了这一问题。
Deep-VRM通过在中间层注入特定的视觉信号,保留早期语义处理,并将这些信号与语义标记表示融合,进而通过后续可训练层传播。这使得后期层能够共同建模语义推理和信号级别的法医线索。实验结果显示,Deep-VRM在多个数据集上实现了最先进的性能。
虽然Deep-VRM在检测性能上取得了突破,但在处理极端压缩图像时仍面临挑战。未来的研究可以探索如何在更低的计算成本下实现类似的检测性能,以及如何进一步提高模型在极端压缩图像上的鲁棒性。
深度解读
原文摘要
Multimodal large language models (MLLMs) have been increasingly adopted in forensics for their robust semantic understanding. As AI-generated images become realistic, semantic-level inconsistencies alone are often insufficient for reliable detection. This motivates a critical question: whether MLLMs can achieve full-spectrum forensic signal perception, i.e., capturing low-level generator artifacts without sacrificing pre-trained semantic knowledge. We further perform a layer-wise analysis of forensic signal perception in MLLMs, showing that semantic information is primarily formed in the early-to-middle layers, whereas direct fine-tuning for artifact learning disrupts these semantic representations. Based on this insight, we propose Deep Visual Residual MLLM (Deep-VRM) to preserve early semantic processing while injecting artifact-specific visual signals as a residual path into an intermediate layer, where they are fused with semantic token representations and propagated through subsequent trainable layers. This enables later layers to jointly model semantic reasoning and signal-level forensic cues, and surprisingly, the model learns to adaptively leverage different levels of forensic signals depending on the input, achieving robust and generalizable detection performance. Extensive experiments show that our method achieves state-of-the-art across most benchmarks. The code and data are available at https://github.com/KQL11/Deep-VRM.