核心发现
方法论
本文提出利用高温采样（T≥0.8）从预训练大模型生成合成哨兵样本，结合定制提示确保样本具有高影响力和可识别性。通过在模型微调过程中插入这些样本，增强对模型记忆的检测能力。引入辅助模型对合成数据进行微调，利用模型间的差异评估隐私泄露。采用多种攻击（成员推断、重建）结合贝叶斯估计μ-GDP指标，系统评估模型在不同参数配置下的隐私风险。
关键结果
- 实验显示，利用高温采样生成的哨兵样本在LoRA微调模型中显著增强成员推断攻击的μ-GDP指标，最高达7.17，远超传统方法。合成数据的隐私泄露通过辅助模型检测，提升检测敏感性30%以上。模型容量（LoRA秩）与哨兵熵的交互影响表明，较大模型更易记忆高熵样本，重建攻击的泄露风险低于成员推断。
- 在Enron数据集上，采用不同重复次数（1-30次）插入哨兵样本，发现重复次数越多，模型记忆越深，但隐私泄露风险也随之增加。通过对比不同采样温度，验证高温采样能生成更具影响力的哨兵样本，提升检测效果。
- 提出的合成数据审计方法能敏感检测模型对私有训练样本的记忆，优于传统的字面匹配和相似度攻击，适用于评估模型发布的合成数据的隐私安全。
研究意义
该研究突破了隐私审计中哨兵样本设计的瓶颈，通过高温采样生成具有高识别性的合成哨兵，有效提升模型记忆泄露检测的敏感性。结合辅助模型的模型间差异分析，为大规模模型的隐私保护提供了新的技术路径。此方法不仅适用于模型微调场景，也为合成数据的隐私风险评估提供了系统化工具，有助推动隐私保护标准的制定。
技术贡献
技术创新主要体现在：1）提出高温采样生成合成哨兵，增强样本的影响力和可识别性，突破传统基于真实样本的限制；2）引入辅助模型进行合成数据的隐私检测，结合模型间差异实现对微妙泄露信号的捕获；3）系统性分析模型容量和哨兵熵对记忆的影响，揭示模型容量越大，越易记忆高熵样本的机制。
新颖性
本研究首次系统性结合高温采样与辅助模型，设计出高影响力合成哨兵样本，显著提升隐私泄露检测的敏感性。与以往只依赖真实数据或简单模板的哨兵设计不同，本文利用预训练模型的生成能力，自动化生成多样化、影响力强的样本，突破了传统隐私审计的局限。
局限性
- 当前方法依赖预训练模型的生成能力，对于极端隐私场景或特殊数据类型，效果可能受限。
- 高温采样可能引入不自然或偏离真实分布的样本，影响审计的代表性。
- 辅助模型训练成本较高，需大量合成数据以确保检测敏感性。
未来方向
未来将探索多模态数据的隐私审计，结合更复杂的生成机制提升哨兵样本的多样性与鲁棒性。同时，研究如何在保证隐私的前提下，优化模型容量与记忆控制策略，推动隐私保护与模型性能的平衡。
AI 总览摘要
随着大规模预训练模型在敏感领域的广泛应用，模型的隐私泄露风险成为亟待解决的问题。传统隐私审计方法多依赖真实数据或模板样本，存在样本不自然或识别困难的局限。本文提出一种创新的高温采样生成合成哨兵样本的方法，利用预训练模型在高温状态下生成具有高影响力的样本，确保其在模型微调中的高可识别性。通过在微调过程中插入这些哨兵样本，结合辅助模型的差异分析，有效检测模型对私有训练数据的记忆泄露。实验在Enron数据集上验证，最高μ-GDP值达7.17，显著优于传统方法。研究还系统分析了模型容量与哨兵熵的关系，揭示大模型更易记忆高熵样本的机制。这一方法不仅提升了隐私泄露检测的敏感性，也为合成数据的隐私风险评估提供了新工具。未来，结合多模态数据和更复杂的生成机制，将进一步推动隐私保护技术的发展，为大模型安全部署提供坚实保障。
深度分析
研究背景
近年来，大模型在自然语言处理、医疗、金融等领域取得突破，但其在敏感信息处理中的隐私风险逐渐凸显。传统隐私保护多采用差分隐私（DP）等技术，但在模型微调中仍存在记忆泄露问题。隐私审计作为评估工具，主要通过成员推断和重建攻击检测模型是否泄露训练样本。哨兵样本设计是关键环节，影响检测效果。现有方法多依赖真实样本或固定模板，缺乏自动化和高效性。随着模型规模扩大，隐私风险也在增加，亟需更强的检测手段。
核心问题
核心问题在于如何设计高效、自然且影响力强的哨兵样本，以提升隐私泄露检测的敏感性。传统样本多依赖人工设计或随机生成，难以兼顾可识别性和自然性。模型微调中的记忆泄露机制复杂，受模型容量、样本影响力等多因素影响。如何利用预训练模型的生成能力，自动化生成高影响力样本，成为当前研究的难点。此外，缺乏系统化的合成数据隐私风险评估工具，限制了模型发布的安全性。
核心创新
本研究的创新点主要包括：1）提出利用高温采样自动生成影响力强的合成哨兵样本，突破传统依赖真实样本的限制；2）引入辅助模型，通过模型间差异实现对合成数据的隐私泄露检测，增强检测敏感性；3）系统分析模型容量与哨兵熵的关系，揭示大模型更易记忆高熵样本的机制，为隐私保护提供理论支持。这些创新为隐私审计提供了自动化、高效的工具，推动大模型安全应用的发展。
方法详解
- �� 设计高温采样机制（T≥0.8）从预训练模型生成合成哨兵，确保样本具有高影响力和可识别性。• 利用定制提示引导模型产生符合目标分布的样本，避免偏离训练数据。• 在微调过程中插入哨兵样本，增强模型记忆检测能力。• 训练辅助模型（attack model）对合成数据进行微调，通过模型间差异评估泄露风险。• 采用成员推断和重建攻击，结合贝叶斯μ-GDP指标，系统评估隐私泄露程度。• 进行多参数（模型容量、哨兵熵）交互分析，揭示模型记忆机制。
实验设计
在Enron邮箱数据集上，采用Gemma3 12B模型，微调参数为LoRA秩64，训练7275步，插入不同重复次数（1-30次）哨兵样本。对比不同采样温度（0.8-3.0），评估攻击指标μ-GDP。设计多种哨兵（随机、模板、bigram），验证其影响力。利用合成数据进行模型间差异检测，比较传统和新颖方法的敏感性。通过多次抽样和统计分析，确保结果的稳健性。
结果分析
高温采样生成的哨兵在LoRA微调模型中显著提升成员推断的μ-GDP指标，最高达7.17，远超传统样本。合成数据的隐私泄露通过辅助模型检测，敏感性提升30%以上。模型容量越大，越易记忆高熵哨兵，重建攻击泄露风险较低。重复插入哨兵样本增强记忆深度，但隐私风险也随之增加。不同采样温度影响哨兵影响力，验证高温采样的有效性。
应用场景
该方法适用于需要隐私保护的模型微调场景，尤其在金融、医疗等敏感行业。通过自动生成影响力强的哨兵样本，提升隐私泄露检测的敏感性，为模型发布提供安全保障。此外，结合辅助模型的差异检测工具，可系统评估合成数据和模型的隐私风险，推动行业标准制定。
局限与展望
当前方法依赖预训练模型的生成能力，可能在极端隐私场景下效果受限。高温采样可能导致样本偏离真实分布，影响审计代表性。辅助模型训练成本较高，需大量合成数据支持。未来需优化样本多样性和检测效率，提升实用性。
原文摘要
Parameter-efficient fine-tuning of large language models (LLMs) can exhibit problematic memorization of individual training examples. Empirical privacy auditing (EPA) quantifies this risk by measuring realistic data leakage on membership inference (MI) or reconstruction attacks. A key challenge in EPA is designing ``canary'' examples that are mixed with the privacy-sensitive training data. We propose generating synthetic canaries via high-temperature sampling ($T \geq 0.8$) from LLMs, using prompts tailored to the privacy-sensitive training data. These canaries act as high-influence outliers, ensuring high identifiability and hence strong audits. Further, since the canaries are themselves non-private, they are inspectable and can be inserted with repetition without jeopardizing the privacy of the real data. An important use of models fine-tuned on privacy-sensitive data is the generation of synthetic data. This also comes with privacy risk. We introduce a powerful synthetic data audit based on fine-tuning an auxiliary model on the synthetic data. Auditing the auxiliary model for the original canaries then provides a strong estimate of the privacy leakage through the synthetic data. Finally, leveraging our strong auditing methodologies, we perform a systematic investigation into the interacting effects of model capacity and canary entropy on memorization.