核心发现
方法论
本文提出CDD方法，通过分析模型采样文本的输出分布峰值来检测数据污染。核心机制是计算样本的编辑距离分布，利用峰值指标识别潜在污染。结合构建的DETCON和COMIEVAL两个基准，验证了CDD在检测隐性污染和评估污染缓解效果上的优越性。实验中，CDD在准确率、F1和AUC指标上分别比其他方法提升21.8%-30.2%。此外，提出TED方法通过校正输出分布，有效缓解数据污染对模型性能的影响，最高减缓66.9%的性能虚高。
关键结果
- CDD在检测准确率上平均提升21.8%-30.2%，在多场景下表现优异，尤其对隐性污染具有鲁棒性。
- TED在不同污染设置中显著降低模型性能虚高，最高缓解66.9%的误导性提升。
- 在真实应用中，ChatGPT在HumanEval上表现出潜在高污染风险，验证了方法的实用价值。
研究意义
本研究解决了大模型训练数据污染难以检测和评估可信性不足的核心难题，为模型训练与评估提供了科学工具，有助于提升AI系统的可靠性和公平性。
技术贡献
首次提出基于输出分布峰值的污染检测方法，突破了黑箱模型和非公开训练数据的限制，结合编辑距离模型实现隐性污染识别，推动了模型安全与可信评估的技术发展。
新颖性
创新点在于仅需采样文本即可检测污染，无需访问训练数据或模型概率，首次引入峰值指标衡量输出分布异常，显著优于传统的n-gram或嵌入相似度方法。
局限性
- 方法对超大规模模型的检测效率仍需优化，计算成本较高。
- 峰值阈值参数依赖经验，泛化能力有限。
- 对极端污染场景或多模态污染的检测效果尚待验证。
未来方向
未来将结合深度学习模型优化峰值检测算法，扩展多模态污染检测能力，探索自动调节参数的自适应机制，提升实际应用的普适性。
AI 总览摘要
近年来，大规模语言模型（LLMs）在自然语言处理、代码生成等领域展现出卓越性能。然而，训练数据的庞大与复杂带来了数据污染的隐患，导致模型在测试集上的表现可能被虚高，影响其可信度。传统检测方法多依赖公开训练数据或模型概率信息，难以应对模型黑箱和隐性污染问题。本文提出CDD，通过分析模型输出文本的编辑距离分布峰值，识别潜在污染。结合新构建的DETCON和COMIEVAL基准，验证了CDD在检测隐性污染方面的优越性，平均提升准确率达21.8%-30.2%。同时，提出TED方法，通过校正输出分布，有效缓解污染带来的性能虚高，最高减缓66.9%的误导性提升。在实际应用中，发现ChatGPT在HumanEval上存在较高污染风险，验证了方法的实用价值。本研究为大模型的训练与评估提供了新思路，有助于推动AI系统的可信性和公平性发展。
深度分析
研究背景
随着大规模预训练模型的广泛应用，数据污染成为制约模型可信度的重要因素。早期如GPT-3采用13-gram重叠检测，但面对复杂的隐性污染和非公开数据，效果有限。近年来，研究者提出多种检测方法，如嵌入相似度、困惑度分析等，但都依赖模型内部信息或训练数据访问。随着模型规模不断扩大，synthetic data的生成和数据泄露问题愈发严重，传统方法难以应对。数据污染不仅导致性能虚高，还掩盖模型缺陷，影响实际应用的可靠性。因此，开发无需访问训练数据、能检测隐性污染的检测工具成为研究热点。
核心问题
核心问题在于如何在模型黑箱和非公开数据环境下，准确检测训练数据中的污染，尤其是隐性污染。现有方法多依赖模型概率或训练集信息，难以识别变体和间接污染。数据污染会导致模型在测试集上的虚假优异表现，影响评估的可信性，甚至误导后续优化。解决这一难题需要新颖的检测机制，能在仅有模型输出文本的情况下，识别潜在污染源。
核心创新
本研究的创新点在于提出基于输出分布峰值的检测方法CDD，利用采样文本的编辑距离分布特征，识别模型输出的异常集中。相比传统n-gram或嵌入相似度，CDD无需访问模型概率或训练集，适应封闭模型环境。结合新构建的DETCON和COMIEVAL基准，系统验证了在多场景、多污染类型下的优越性能。TED则通过校正输出分布，有效缓解污染带来的性能虚高问题，提升评估的可信度。这些创新推动了模型安全检测的理论与实践发展。
方法详解
- �� 采样：从模型获取文本样本。• 编辑距离：计算样本间的Token级Levenshtein距离。• 分布建模：构建输出距离的概率分布ρ(d)。• 峰值指标：计算峰值Peak(M; x)，衡量分布集中程度。• 污染检测：若峰值超过阈值ξ，则判定为污染。• 校正：TED通过排除峰值和去重，校正输出分布，改善评估。• 参数调节：α、ξ、τ等超参数优化检测效果。
实验设计
使用DETCON和COMIEVAL两个基准，模拟多种污染场景，包括不同污染比例、类型（显性/隐性）和模型（CodeLlama、Llama2等）。比较CDD与n-gram、嵌入相似度、困惑度等方法，评估准确率、F1、AUC指标。参数调优后，CDD在检测隐性污染时表现优异，平均提升21.8%-30.2%。TED在不同污染程度下显著降低性能虚高，最高缓解66.9%。实证中，ChatGPT在HumanEval表现出潜在污染风险，验证了方法的实用性。
结果分析
CDD在多场景下均优于对比方法，检测准确率提升明显，特别在隐性污染中表现出鲁棒性。TED有效校正模型输出，减少虚假性能提升，确保评估可信。实测中，ChatGPT在HumanEval中存在明显污染迹象，验证了检测工具的实用价值。
应用场景
可广泛应用于模型训练监控、评估体系优化、模型安全审查等场景。特别适合封闭模型或非公开数据环境，为模型开发者提供污染检测和评估校正工具，提升模型可信度。未来可结合自动化参数调节，实现实时监控。
局限与展望
方法在超大模型上的计算成本较高，峰值阈值参数依赖经验，泛化能力有限。对多模态污染或极端污染场景的检测效果尚需验证。未来需优化算法效率，扩展多模态检测能力。
通俗解读 非专业人士也能看懂
想象你在一家工厂工作，工厂每天生产各种商品。工厂的质量控制员需要确保每个商品都符合标准，但工厂里有些商品可能是被偷工减料的假货。传统方法就像用放大镜检查每个商品，但这很费时间，也不一定能找到所有假货。现在，工厂引入了一种新工具——它会分析所有商品的特征，找出那些看起来特别相似或异常的商品。这个工具就像CDD，它通过观察商品的细节分布，判断是否有假货混入。这样一来，工厂可以更快、更准确地找到问题商品，保证产品质量。这就像模型的输出文本一样，分析它们的分布，判断是否有数据污染，确保模型的“生产线”正常运作。
简单解释 像给14岁少年讲一样
想象你在学校里，有个老师会给你很多作业。正常情况下，你的答案应该多样化，不会每次都一样。但如果你总是抄别人的答案，答案就会变得很像，甚至一模一样。这个老师可以通过观察你的答案，发现你是不是抄袭了。这个检测方法就像CDD，它会看你的答案之间的相似程度。如果答案都很像，说明你可能抄了。这样，老师就能知道你是不是作弊了。这个方法不用看你平时的作业，只看你这次的答案，就能判断你是不是抄袭。它用一种特别的“相似度”指标，帮老师找到那些可能有问题的答案。这样一来，考试就更公平了，大家都得靠自己努力。
原文摘要
Recent statements about the impressive capabilities of large language models (LLMs) are usually supported by evaluating on open-access benchmarks. Considering the vast size and wide-ranging sources of LLMs' training data, it could explicitly or implicitly include test data, leading to LLMs being more susceptible to data contamination. However, due to the opacity of training data, the black-box access of models, and the rapid growth of synthetic training data, detecting and mitigating data contamination for LLMs faces significant challenges. In this paper, we propose CDD, which stands for Contamination Detection via output Distribution for LLMs. CDD necessitates only the sampled texts to detect data contamination, by identifying the peakedness of LLM's output distribution. To mitigate the impact of data contamination in evaluation, we also present TED: Trustworthy Evaluation via output Distribution, based on the correction of LLM's output distribution. To facilitate this study, we introduce two benchmarks, i.e., DetCon and ComiEval, for data contamination detection and contamination mitigation evaluation tasks. Extensive experimental results show that CDD achieves the average relative improvements of 21.8\%-30.2\% over other contamination detection approaches in terms of Accuracy, F1 Score, and AUC metrics, and can effectively detect implicit contamination. TED substantially mitigates performance improvements up to 66.9\% attributed to data contamination across various contamination setups. In real-world applications, we reveal that ChatGPT exhibits a high potential to suffer from data contamination on HumanEval benchmark.