PIU: Proximity-guided Identity Unlearning in ID-Conditioned Diffusion Models

TL;DR

PIU通过几何导向实现Arc2Face模型的目标身份删除,显著提升隐私保护效果。

cs.CV 🔴 高级 2026-05-21 24 次浏览
Jose Edgar Hernandez Cancino Estrada Mauro Díaz Lupone Žiga Emeršič Vitomir Štruc Peter Peer Darian Tomašević
深度学习 生成模型 隐私保护 身份去除 扩散模型

核心发现

方法论

PIU采用基于ArcFace特征空间的邻近策略,结合目标身份替换为锚点身份,通过微调少量跨注意力层实现身份去除。具体包括:定义身份空间中的几何距离,选择合适的锚点,设计目标与保持损失,局部微调模型参数,确保目标身份被有效抑制,同时保持非目标身份的真实性与一致性。

关键结果

  • 在CelebA-HQ数据集上,PIU实现目标身份的识别相似度降低至0.31(原为0.78),比WID的0.32更优,且保持非目标身份的识别一致性(保持率达72%),在图像质量指标如∆KD和eDIFFIQA上均优于对比方法,验证了其高效性和鲁棒性。
  • 通过局部微调仅4.29%的模型参数,显著减少了对非目标身份的影响,且在多次实验中表现出稳定的去除效果。
  • 实验证明PIU在多目标身份删除任务中优于SISS、UCE等方法,尤其在识别指标和图像质量方面均取得最优表现。

研究意义

该研究突破了ID条件扩散模型中目标身份删除的技术瓶颈,为隐私保护提供了可行方案。相比传统数据删除或概念去除,PIU能在不重训练整个模型的情况下,有效抹除特定个人身份信息,符合GDPR等法规要求。其创新的几何导向策略和局部微调机制,为未来个性化模型的安全性和可控性提供了新思路,有望在深度伪造检测、隐私保护和个性化内容生成等领域产生深远影响。

技术贡献

本文提出基于ArcFace特征空间的邻近选择策略,有效指导目标身份的几何替换,结合目标与保持损失,实现目标身份的高效抹除。创新点在于:引入几何距离作为锚点选择依据,设计局部微调方案,减少对模型整体性能的影响。该方法在公开模型Arc2Face上验证,提供了可复现的流程和指标,填补了ID条件扩散模型中目标身份去除的研究空白。

新颖性

首次提出基于几何邻近的锚点策略用于ID条件扩散模型的目标身份去除,区别于传统的全模型微调或无指导的删除方法。该方法结合模型结构特性,设计了局部微调和几何导向机制,显著提升了去除效果的同时保持了生成质量,具有较强的创新性和实用性。

局限性

  • 当前方法依赖ArcFace特征空间的几何结构,可能在特征空间偏差或多样性较大的数据集上表现不佳。
  • 微调仅局限于少数跨注意力层,可能在极端身份相似或复杂背景下效果有限。
  • 模型微调过程仍需一定计算资源,未来需优化算法以实现更高效率。

未来方向

未来将探索多模态特征空间的结合,提升锚点选择的鲁棒性;同时研究更自动化的锚点筛选策略,增强模型的泛化能力。此外,将扩展到其他ID条件生成模型,推动隐私保护技术的广泛应用。

AI 总览摘要

随着深度学习生成模型的快速发展,基于扩散模型的高质量图像生成已成为研究热点。Arc2Face作为一种ID条件的潜在扩散模型,能生成身份一致且多样化的人脸图像,广泛应用于虚拟人像、数据增强等场景。然而,这类模型也带来了隐私泄露风险,尤其是模型可能记忆训练数据中的个人身份信息,违反隐私保护法规。传统的数据删除和概念去除方法难以在保持生成质量的同时实现目标身份的彻底抹除。为此,本文提出PIU(Proximity-guided Identity Unlearning),一种基于几何邻近策略的目标身份抹除框架。PIU通过在ArcFace特征空间中选择合适的锚点,将目标身份映射到锚点身份,从而实现目标身份的高效抹除。该方法结合目标与保持损失,局部微调少量跨注意力层,有效抑制目标身份的生成,同时保持非目标身份的真实性。实验结果显示,PIU在CelebA-HQ数据集上,目标身份识别相似度降低至0.31,优于现有方法,且对非目标身份影响极小。该研究不仅提供了可复现的技术方案,也为深度伪造检测和隐私保护提供了新的思路,推动ID条件生成模型的安全性与可控性发展。未来,将结合多模态特征和自动锚点筛选,进一步提升方法的鲁棒性和应用范围。

深度分析

研究背景

深度生成模型,尤其是扩散模型,已成为图像合成的主流技术。早期以GAN为代表的生成方法在逼真度方面取得突破,但存在训练不稳定和模式崩溃的问题。Latent Diffusion Models(LDMs)如Stable Diffusion极大提升了效率和质量,广泛应用于条件生成。近年来,基于识别模型的身份条件生成(如Arc2Face)实现了身份一致性的人脸合成,推动了虚拟人像、数据增强等应用。然而,这些模型也引发隐私担忧,因其可能记忆训练数据中的个人信息,导致隐私泄露和滥用风险。现有的隐私保护技术主要集中在数据删除和概念去除,但在ID条件扩散模型中,目标身份的彻底抹除仍是难题。研究界逐渐关注模型的可控性和安全性,提出了多种未充分解决的目标身份去除方法。

核心问题

目标身份的删除在ID条件扩散模型中面临多重挑战。首先,身份信息以连续特征表示,非离散标签,难以简单删除。其次,模型可能记忆训练数据中的个人信息,导致目标身份在生成中反复出现。传统微调方法容易影响模型整体性能,且难以保证非目标身份的真实性。现有技术缺乏有效的几何导向策略,难以在保持生成质量的同时实现目标身份的彻底抹除。这些问题限制了模型在隐私保护和法规合规方面的应用,亟需创新的技术方案。

核心创新

本文提出基于ArcFace特征空间的邻近策略,结合目标身份替换为锚点身份,创新性地解决了身份去除的几何导向问题。核心创新包括:• 利用ArcFace特征的几何结构,选择距离目标身份适中的锚点,确保抹除效果与生成质量兼得;• 设计目标与保持损失,局部微调少量跨注意力层,提升效率和效果;• 提出几何邻近的锚点选择算法,结合阈值筛选,确保锚点既不太相似也不太远,优化身份抹除的平衡点。这些创新显著区别于以往全模型微调或无指导删除的方法,为ID条件扩散模型的目标身份去除提供了新思路。

方法详解

  • �� 构建ArcFace特征空间,提取训练集中的身份特征,计算每个身份的质心。• 选择距离目标身份适中的锚点,采用余弦相似度筛选,确保锚点既不太相似也不太远。• 在训练过程中,定义目标身份的条件向量,结合目标与保持损失,微调少量跨注意力层参数。• 目标损失引导模型将目标身份映射到锚点身份,抑制目标身份的生成。• 保持损失确保非目标身份保持一致,避免模型整体性能下降。• 采用局部微调策略,只调整关键的跨注意力层,提升效率。• 通过合成样本和多样化的身份条件,增强模型的泛化能力。• 最终实现目标身份的高效抹除,同时保持生成的真实性和多样性。

实验设计

在CelebA-HQ数据集上,使用Arc2Face模型进行目标身份删除。实验包括:对比WID、SISS、UCE等方法,评估指标有识别相似度(ISM)、保留率(SRK)以及图像质量指标∆KD和eDIFFIQA。采用不同目标身份,进行多轮微调,参数设置为学习率10^-4,微调400步。通过定量指标验证目标身份的识别度显著降低(如从0.78降至0.31),同时非目标身份保持较高的识别一致性。还进行了主观和定性评估,确认生成图像的真实性未受明显影响。多目标身份删除实验显示方法具有良好的鲁棒性和稳定性。

结果分析

PIU在目标身份删除方面优于WID、SISS、UCE,识别相似度降低至0.31,显著优于对比方法的0.32。保持率达72%,远高于其他方法。图像质量指标∆KD和eDIFFIQA也优于对比方案,说明生成质量得以保持。微调参数仅占模型参数的4.29%,显著减少了对非目标身份的影响。多目标身份删除实验验证了方法的稳定性和泛化能力,显示其在实际应用中的潜力。

应用场景

该技术可应用于虚拟人像生成、隐私保护、深度伪造检测等场景。用户可以在不重训练模型的情况下,删除特定个人身份信息,符合隐私法规。未来,结合多模态特征和自动锚点筛选,将进一步提升模型的安全性和适应性,为个性化内容生成提供更强的控制能力。

局限与展望

目前方法依赖ArcFace特征空间,可能在特征偏差较大或多样性强的数据集上表现不足。微调仅局限于少数层,面对极端相似身份或复杂背景时效果有限。模型微调仍需一定计算资源,未来需优化算法以实现更高效率和更广泛的适用性。

通俗解读 非专业人士也能看懂

想象你经营一家工厂,生产各种不同的玩具。每个玩具代表一个人的身份信息。工厂里有一台特别的机器,可以根据不同的设计图(特征)制造玩具。有时候,你会发现某个玩具不想再出现了,比如因为隐私问题。传统的方法就像直接把那款玩具的设计图从工厂里删除,但这样可能会影响其他玩具的制造。现在,PIU就像是给那款玩具找一个类似但不同的设计图(锚点),让工厂用这个新设计制造出类似但不再是原来那款的玩具。这样,目标玩具就被“换掉”了,但工厂还能继续正常生产其他玩具。这个过程通过调整机器内部的部分设置(微调少量层)实现,不会影响整个工厂的正常运作。最终,工厂既保护了隐私,又保证了玩具的多样性和质量。

简单解释 像给14岁少年讲一样

想象你在学校里有很多朋友,每个人都有自己的名字和照片。有一天,你的老师说,有个朋友的照片不想让别人看到了,因为隐私问题。以前的方法可能是把那个人的照片从所有资料里删除,但这样会影响到其他朋友的照片。现在,科学家们发明了一种新办法,就像是用一张相似但不同的照片替换掉那个朋友的照片。这个新照片看起来像原来的朋友,但实际上已经变得不一样了。科学家们用一种叫做“几何邻近”的技巧,找到一个距离原来朋友的照片既不太近也不太远的图片,然后用它来替换。这样,既保护了隐私,又不影响其他朋友的照片。这个方法还只需要调整相机(模型)里的少部分设置,就能做到既快又好。未来,这种技术可以用在很多地方,比如保护个人隐私、打击深度伪造等,让我们的数字世界更安全、更有趣。

术语表

ArcFace (人脸识别模型)

一种基于特征空间的面部识别算法,用于提取人脸的身份特征。

在论文中用于构建身份特征空间,选择锚点身份。

潜在扩散模型 (Latent Diffusion Model)

在潜在空间中进行图像生成的扩散模型,效率高、质量好。

作为基础生成架构,支持条件生成。

目标身份 (Target Identity)

需要在模型中删除的特定个人身份信息。

论文中的去除对象。

锚点身份 (Anchor Identity)

在特征空间中选择的代表性身份,用于引导目标身份的替换。

实现几何导向的身份抹除。

跨注意力层 (Cross-Attention Layer)

模型中用于融合条件信息的关键层,微调这些层影响身份去除效果。

微调策略的重点对象。

开放问题 这项研究留下的未解疑问

  • 1 如何在多模态特征空间中实现更鲁棒的锚点选择,仍是未来研究的难点。
  • 2 模型微调的效率和规模化应用仍需优化,特别是在大规模数据集上。
  • 3 如何确保身份抹除的彻底性,避免残留信息泄露,是持续关注的问题。

应用场景

近期应用

隐私保护

在虚拟人像生成和深度伪造检测中,快速删除特定个人身份信息,确保用户隐私安全。

远期愿景

内容生成控制

实现对生成内容的精细控制,推动个性化内容定制与隐私保护的结合,未来可应用于虚拟现实、社交媒体等领域。

原文摘要

Identity-conditioned diffusion models enable high-quality and identity-consistent face generation, but they also raise severe privacy concerns, as models may continue to synthesize individuals despite their right to be forgotten. While machine unlearning has been extensively studied for concept and data removal, identity unlearning remains largely unexplored, particularly in models conditioned directly on identity embeddings rather than text prompts. In this work, we study identity unlearning in Arc2Face, a state-of-the-art identity-conditioned latent diffusion model for face generation, and introduce Proximity-guided Identity Unlearning (PIU), an anchor-guided framework for identity unlearning. Specifically, we formulate identity removal as an identity replacement objective that reassigns the source identity to a selected anchor identity in the learned identity space, and we complement it with a proximity-based anchor selection strategy motivated by the geometry of ArcFace representations. We further show that effective unlearning can be achieved through localized fine-tuning of a small subset of identity-sensitive cross-attention layers. Experiments across multiple target identities show that our framework effectively suppresses generation of the target identity while preserving realism and identity consistency for retained identities, as validated by improved performance on unlearning and image-quality metrics, together with qualitative evaluation. The source code for the PIU identity unlearning framework is made publicly available at https://github.com/edgarcancinoe/piu-unlearning.

cs.CV