核心发现
方法论
本研究分析了统一多模态模型（UMMs）中理解与生成两个视觉分支的特征关系，发现结构一致性影响编辑成功。提出CCS框架，通过扰动ViT与VAE表示，并利用线性Centered Kernel Alignment（CKA）打破两者的结构一致性，形成冲突表示。优化过程中仅调整输入扰动，保持模型参数冻结，有效扰乱面部身份信息的恢复。采用多指标评估，包括身份保持（ISM）、生成质量（FID）、视觉失真（BRISQUE）和指令理解（Und-Score），验证了CCS的优越性。
关键结果
- 在四个不同编辑指令下，CCS将面部身份相似度（ISM）降至0.00，明显优于所有基线方法，且在保持输入图像质量方面表现优异（FID最高达532.38），同时极大降低了指令遵循的准确性（Und-Score最低为0.00），显示其强大保护效果。
- AB测试显示，单一分支扰动难以阻断模型的面部身份恢复，CCS通过同时扰动两个分支，打破其协作机制，显著提升保护效果。
- 在多种抗干扰操作（如JPEG压缩、模糊）下，CCS仍保持优异性能，验证其鲁棒性。
研究意义
该研究突破了现有单分支保护的局限，提出跨分支冲突策略，有效阻止多模态模型在面部编辑中的身份泄露问题。对提升个人隐私保护、打击数字伪造具有重要意义，推动多模态模型安全应用的发展。该框架为未来多模态模型的安全防护提供新思路，具有广泛应用潜力。
技术贡献
创新点在于提出跨分支冲突（CCS）机制，结合扰动ViT与VAE表示，并利用CKA打破结构一致性，形成冲突表示。该方法区别于传统单分支扰动，系统性扰乱模型跨模态协作，提升保护效果。技术上实现了在保持图像质量的同时，显著降低身份信息的可恢复性，为多模态模型安全提供新技术路径。
新颖性
首次系统性提出跨分支冲突策略，针对多模态模型中理解与生成两个分支的协作机制，设计扰动方案，有效阻断身份信息恢复。区别于以往只扰动单一分支的技术，强调结构一致性破坏，创新性强。
局限性
- 方法依赖于模型的可访问性，若模型结构发生变化或采用不同架构，效果可能下降。
- 扰动可能引入视觉失真，影响图像自然性，需权衡保护强度与视觉质量。
- 在极端复杂场景或多模态融合更深层次的模型中，保护效果仍需验证。
未来方向
未来将探索多模态模型更深层次的结构分析，结合对抗训练提升鲁棒性，扩展至非面部场景，增强泛化能力。同时，考虑模型可解释性，优化扰动策略，提升实用性与安全性。
AI 总览摘要
随着多模态模型（UMMs）在图像理解与生成中的广泛应用，面部身份保护成为亟待解决的关键问题。现有的单分支扰动方法在多模态融合环境中表现有限，因为模型的理解与生成两个分支可以相互补充，恢复被扰动的身份信息。为应对这一挑战，本文提出了跨分支冲突（CCS）保护框架，旨在同时扰动理解与生成分支的特征表示，并利用线性Centered Kernel Alignment（CKA）打破其结构一致性，从而形成冲突表示，阻止模型恢复面部身份。实验结果显示，CCS在多项指标上均优于传统单分支方法，显著降低身份保持（ISM）至0.00，提升生成质量（FID最高达532.38），同时极大削弱模型对指令的遵循能力（Und-Score最低为0.00）。在抗干扰操作如JPEG压缩和模糊中，CCS依然表现出强大鲁棒性，验证了其实用潜力。这一策略不仅增强了个人隐私保护，也为多模态模型的安全应用提供了新思路。未来，结合模型结构的深层分析与多模态融合机制，CCS有望在更广泛场景中实现更全面的保护效果，推动多模态AI安全技术的发展。
深度分析
研究背景
多模态模型（UMMs）融合了视觉理解、语言推理与图像生成，代表性架构如BAGEL、InternVL-U等，推动了AI在内容创造与理解上的突破。早期模型多专注单一任务，随着能力提升，逐步实现多模态协作，但安全问题日益突出，尤其是面部身份的隐私保护。现有防护技术主要针对单一视觉分支的对抗扰动，如Diffusion模型中的VAE扰动与VLM中的语义扰动，但在多分支协作环境中效果有限。如何在保证图像质量的同时，有效阻止身份信息被恢复，成为研究难点。
核心问题
多模态模型中理解与生成两个分支共同影响最终输出，单一分支扰动难以阻断身份恢复。现有方法不能同时扰乱两个分支，导致模型仍能利用另一分支恢复面部身份。如何设计一种同时扰动两个分支、破坏其结构一致性的方法，成为关键挑战。此问题关系到个人隐私保护、数字内容安全等实际应用，难点在于保持图像自然性和生成质量，同时实现有效扰动。
核心创新
提出跨分支冲突（CCS）机制，结合扰动ViT（理解）与VAE（生成）表示，通过最大化它们的结构差异（利用CKA）形成冲突，阻断模型的身份恢复能力。创新点在于：• 同时扰动两个关键分支，打破其协作机制；• 利用结构一致性指标（CKA）动态调整扰动；• 仅优化输入扰动，保持模型参数不变，保证效率。该方法区别于传统单分支扰动，系统性破坏多模态融合路径。
方法详解
- �� 以清晰面部图像作为输入，构建扰动图像。• 通过两个视觉编码器（ViT与VAE）提取特征，映射到共享的语言模型输入空间。• 设计扰动目标：最大化两个分支的特征差异（L_vae与L_vit），同时最大化它们的结构差异（L_cbc，基于CKA）。• 只优化输入扰动δ，保持模型参数冻结，采用投影梯度上升方法在扰动预算内逐步更新。• 通过多指标（ISM、FID、BRISQUE、Und-Score）评估保护效果，确保扰动不影响图像自然性。
实验设计
- �� 使用VGGFace2数据集，选择20个面部身份进行测试。• 采用BAGEL-7B作为代理模型，比较多种基线方法。• 评估指标包括身份保持（ISM）、生成质量（FID）、视觉失真（BRISQUE）和指令理解（Und-Score）。• 进行AB测试验证单分支扰动的局限性，调节扰动强度，检验鲁棒性。• 在不同干扰操作（JPEG、模糊）下测试，验证抗干扰能力。
结果分析
- �� CCS将面部身份相似度（ISM）降至0.00，远优于AdvDM、Mist等基线。• 在四个不同指令下，CCS显著提升FID（最高达532.38）和降低Und-Score（最低为0.00），说明模型难以完成身份保持和指令遵循。• AB测试显示，单一分支扰动不足以阻止身份恢复，CCS通过同时扰动两个分支，显著增强保护效果。• 在抗干扰测试中，CCS依然保持优异性能，验证其鲁棒性。
应用场景
- �� 个人隐私保护：在公开分享面部照片前加入扰动，有效阻止未经授权的面部编辑。• 内容安全：防止伪造和篡改，保障数字身份真实性。• 未来可扩展至多模态内容的隐私保护与版权维护，推动安全AI的普及。
局限与展望
- �� 依赖模型结构，若模型架构变化或采用不同技术，效果可能减弱。• 扰动可能引入视觉失真，影响用户体验。• 在更复杂、多模态融合深层模型中，保护效果仍需验证，未来需优化扰动策略以兼顾自然性与安全性。
通俗解读 非专业人士也能看懂
想象你有一份重要的照片，你想保护它不被别人偷偷修改或盗用。传统的方法就像在照片上盖个水印，但如果对方知道这个水印，就可以轻松去掉。现在，研究人员提出了一种新方法，就像在照片的不同部分偷偷藏了两个“迷惑信号”，让任何试图修改照片的人都无法同时理解和改变它。这样，无论他们用什么技巧，都不能成功地把照片变成别人的样子。这个方法特别聪明，因为它不只在一个地方“搞破坏”，而是在两个地方同时“制造冲突”，让对方的“拼图”变得乱七八糟，根本拼不出原来的样子。就像在拼图游戏中同时拆掉两个关键拼块，最后拼不出完整的图案。这样一来，个人隐私就像被放在了一个“迷宫”里，任何想偷看或修改的人都得费很大劲，甚至根本不可能成功。
简单解释 像给14岁少年讲一样
想象你有一张超级重要的自拍照，你不想让别人用电脑偷偷改成别人的脸。以前的方法就像在照片上画个大水印，可是聪明的人可以用软件把水印擦掉。现在，科学家们想出了一个新办法，就像在照片的两个不同角落藏了两个“迷惑信号”。当有人用电脑试图改照片时，这两个迷惑信号会让电脑搞不清楚哪部分是真正的脸，哪部分是假的。于是，无论他们用多厉害的技术，都不能成功把你的脸变成别人的样子。这个方法特别聪明，因为它在两个地方同时“搞破坏”，让对方的拼图游戏变得乱七八糟，拼不出原来的样子。就像你在拼一幅拼图时，突然把两个关键拼块藏起来，拼出来的图就会变得完全不一样。这样一来，你的隐私就像被放进了一个“迷宫”，任何想偷看或改照片的人都得费很大劲，几乎不可能成功。
原文摘要
Unified multimodal models (UMMs) have recently demonstrated powerful instruction-based image editing capabilities, while also raising serious concerns about the unauthorized manipulation of personal portraits. We investigate a novel and practical problem: protecting facial identities against unauthorized editing of UMMs. Existing diffusion-based and VLM-based protection methods often become ineffective because they typically disrupt only a single visual branch. To understand this limitation, we conduct a feature-level analysis of the understanding and generation branches in unified image editing models. Our observations show that the structural agreement between these two branches is closely related to successful image editing. When only one branch is distorted, the model may still recover identity information from the other branch. Based on this, we propose Cross-Branch Conflict as a Shield (CCS), a unified adversarial protection framework. CCS jointly drives the ViT and VAE representations away from their clean counterparts. It also uses a linear Centered Kernel Alignment (CKA) objective to disrupt the structural consistency between the two branches. By degrading reliable identity information in both visual pathways and inducing incompatible cross-branch representations, CCS effectively prevents UMMs from recovering consistent facial identity cues during editing. Extensive experiments suggest that CCS consistently provides stronger protection in suppressing identity-preserving edits. Codes are in the supplementary material.