核心发现
方法论
本研究分析RLVR训练中模型推理轨迹的结构变化，发现训练促使生成内容在符号和逻辑层面趋于一致。提出Min-kNN距离，通过采样多次生成，计算最小k个邻近编辑距离的平均值，量化输出的结构收敛。该方法无需访问模型内部概率信息，纯黑箱操作，依赖生成输出的结构相似性。实验在多个RLVR模型上验证，显示其能有效区分训练样本与未见样本，优于传统的成员推断和污染检测方法。
关键结果
- 在多种RLVR训练模型（如SimpleRL-32B、DAPO-Qwen-32B）上，Min-kNN距离的AUC平均达0.70，优于概率和编辑距离等基线方法，提升17%的检测性能。
- 该方法对不同RL算法（如GRPO、PPO）表现稳定，模型规模从1.5B到32B参数均保持优异检测效果，验证其模型无关性和扩展性。
- 在对训练提示进行改写（如GPT-4生成的同义句）后，检测性能仅略有下降，显示鲁棒性强，适应实际应用中的多样化输入。
研究意义
本研究揭示RLVR训练引起的推理轨迹结构收敛，为模型安全检测提供新思路。通过结构特征识别训练数据的暴露，解决传统基于概率的检测在RL环境下失效的问题，增强模型训练过程的透明度和可信度。此技术对防止训练数据泄露、检测模型过拟合具有重要意义，推动RL模型的安全应用和监管机制发展。
技术贡献
提出基于结构收敛的黑箱检测指标Min-kNN距离，突破传统依赖模型内部概率信息的限制。结合层次聚类分析推理轨迹的有限结构，创新性地实现了无需访问模型参数的训练数据暴露检测。方法设计简洁，适用范围广，能在不同模型和训练算法中泛化，显著提升检测准确率，为模型安全监控提供新工具。
新颖性
首次系统性揭示RLVR训练引起的推理轨迹结构收敛现象，提出基于邻近编辑距离的黑箱检测方法。区别于以往依赖概率或记忆特征的检测技术，本研究利用推理结构的固有收敛特性，实现模型无关的训练数据识别，填补了RL环境下数据泄露检测的空白。
局限性
- 当前方法主要依赖生成内容的结构相似性，对于高度多样化或复杂推理任务可能表现有限，尤其在模型未充分收敛或训练不充分时效果减弱。
- 在极端的对抗性场景（如故意扰乱推理结构）下，检测性能可能受到影响，未来需结合多模态信息增强鲁棒性。
- 方法在大规模模型和极长推理链上的计算成本尚未充分评估，未来需优化采样效率以适应实际部署需求。
未来方向
未来将结合多模态特征和动态分析，提升检测的鲁棒性与泛化能力。探索结构收敛在不同任务和模型中的普适性，结合强化学习的训练策略优化检测指标，推动模型安全性评估的标准化发展。
AI 总览摘要
近年来，随着大规模语言模型（LLMs）在推理和生成任务中的突破，RLVR（强化学习与可验证奖励）成为训练高性能推理模型的核心技术。该方法通过奖励信号强化模型在符号推理和数学问题中的表现，显著提升了模型在标准基准上的成绩。然而，RLVR训练引发的一个隐患是训练数据的泄露和污染，尤其在开源模型中，缺乏有效的检测工具，导致模型可能“记忆”了训练样本，影响其泛化能力。传统的检测方法多依赖模型内部概率信息，但在RLVR中，模型通过奖励优化，输出的推理轨迹趋于结构化和收敛，难以用概率指标区分训练样本与未见样本。为此，本文提出Min-kNN距离指标，利用生成内容的结构相似性，量化推理轨迹的收敛程度。通过采样多次生成，计算最小k个邻近编辑距离的平均值，形成黑箱检测指标。实验证明，该方法在多个RLVR模型（如SimpleRL-32B、DAPO-Qwen-32B）上表现优异，AUC平均达0.70，优于现有的概率和编辑距离基线。该技术不仅适用于不同RL算法和模型规模，还对提示改写具有鲁棒性，显示出良好的实际应用潜力。研究揭示了RLVR引起的推理轨迹结构收敛，为模型安全检测提供了新思路，有助于推动模型训练的透明度和可信度。未来，结合多模态信息和对抗样本检测，将进一步增强方法的鲁棒性和适用范围，推动RL模型的安全监控体系建设。
深度分析
研究背景
随着大规模预训练模型的崛起，推理能力的提升成为研究焦点。近年来，基于强化学习的训练方法（如RLHF、RLVR）在提升模型推理准确性方面取得突破，特别是在数学、编码和符号推理任务中表现优异。代表性工作包括Guo等（2025）、Zeng等（2025）等，推动模型在可验证任务中的应用。然而，训练数据的泄露和污染问题逐渐凸显，尤其在开源环境中，模型可能“记忆”了训练样本，影响其泛化能力。传统检测方法主要依赖模型内部的概率信息或记忆特征，但在RLVR中，模型通过奖励机制优化推理轨迹，导致输出结构趋于一致，难以用概率指标区分训练样本。近年来，结构分析和邻近距离方法逐渐成为研究热点，但在RL环境下的应用仍处于探索阶段。
核心问题
核心问题在于如何在RLVR训练中识别模型是否暴露于特定训练样本。由于RLVR优化目标不同于传统的最大似然训练，模型输出的推理轨迹表现出明显的结构收敛特征，传统的概率或记忆检测手段失效。现有方法难以捕捉RLVR引起的推理轨迹变化，亟需一种基于输出结构的检测技术，以保障模型安全和数据隐私。解决该问题对于防止训练数据泄露、提升模型的可信性和透明度具有重要意义。
核心创新
本研究的创新点在于：1）系统性分析RLVR训练引起的推理轨迹结构收敛现象，揭示符号和逻辑部分的收敛特征；2）提出基于邻近编辑距离的黑箱检测指标Min-kNN距离，利用生成内容的结构相似性实现训练数据暴露检测；3）无需访问模型内部概率信息，操作简洁，适用范围广。该方法结合层次聚类分析推理轨迹的有限结构，突破了传统依赖概率的检测限制，为RL环境下模型安全检测提供新思路。
方法详解
- �� 采样：对给定提示多次采样生成内容（如32次），形成输出集合。• 结构分析：计算每对生成内容的归一化Levenshtein编辑距离，衡量结构相似性。• 邻近距离：对每个输出，找到其最近邻的编辑距离，形成邻近距离序列。• 统计指标：取最小k个邻近距离的平均值，作为Min-kNN距离。• 结构聚类：对输出进行层次聚类，识别有限的推理结构模式。• 训练检测：通过阈值判断Min-kNN距离，区分训练样本与未见样本。• 实验验证：在多个RLVR模型上测试，比较AUC性能，验证鲁棒性和泛化能力。
实验设计
采用公开RLVR模型（如SimpleRL-32B、DAPO-Qwen-32B）和控制场景（RL污染检测基准），采集训练样本和未见样本，计算AUC指标。设置采样次数（如32次）、邻近距离参数（k=10），评估不同模型规模和算法的检测效果。进行提示改写、蒸馏等变体测试，验证鲁棒性。对比概率、编辑距离等基线方法，分析检测性能和稳定性。
结果分析
Min-kNN距离在所有模型中表现优异，平均AUC达0.70，比传统方法提升17%。在不同RL算法（GRPO、PPO）和模型规模（1.5B-32B）中均表现稳定。提示改写后性能仅略有下降，显示鲁棒性强。对多种污染场景（如蒸馏、代码推理）均能有效识别训练样本，验证其广泛适用性。
应用场景
该方法可用于模型训练监控、数据泄露检测和模型安全评估。适合开源模型发布前的安全审查，也可结合模型部署中的实时检测，防止敏感数据泄露。未来在多模态任务和对抗攻击场景中，具有潜在的扩展价值。
局限与展望
目前主要依赖生成内容的结构相似性，对于复杂推理或高变异任务效果有限。对抗性扰动可能削弱检测效果，计算成本在大模型和长推理链中较高。未来需优化采样策略和结合多模态信息，提升鲁棒性和效率。
通俗解读 非专业人士也能看懂
想象你在一家工厂里，工人们每天都按照固定的流程生产产品。经过一段时间后，他们的工作变得越来越标准化，几乎每次都用一样的方法完成任务。这就像模型在RLVR训练中，经过反复优化后，推理路径变得越来越一致，输出的内容也越来越像模板。这种变化让我们可以通过观察输出的结构，判断它是否经过训练。就像工厂的生产线变得越来越机械化一样，模型的推理也变得越来越刻板。我们用一种叫Min-kNN距离的方法，像工厂检查员一样，测量每次生产的产品有多相似，从而判断它是否来自这个工厂。这个方法简单、快速，不需要知道工厂的内部机器，只看产品的外观。它帮助我们确保模型没有泄露训练数据，也能检测到模型是否被训练过。
简单解释 像给14岁少年讲一样
想象你在学校里，有一台特别的机器人老师。刚开始，它会用很多不同的方法解题，像你平时做作业一样多样化。可是，经过一段时间的训练，这个机器人变得越来越像一个“套路大师”，每次解题都用一样的步骤，甚至用一样的句子。你可以通过观察它的解题步骤，知道它是不是经过特别的训练。我们的方法就像是用放大镜看这个机器人，测量它每次解题的相似程度。如果它的解题都很像，说明它可能经过了特别的训练。这个放大镜不用知道机器内部的秘密，只看它的解答内容就能判断。这样，我们就可以知道这个机器人是不是“学过”那些题，也可以防止它泄露秘密。
原文摘要
Reinforcement learning with verifiable rewards (RLVR) is central to training modern reasoning models, but the undisclosed training data raises concerns about benchmark contamination. Unlike pretraining methods, which optimize models using token-level probabilities, RLVR fine-tunes models based on reward feedback from self-generated reasoning trajectories, making conventional likelihood-based detection methods less effective. We show that RLVR induces a distinctive behavioral signature: prompts encountered during RLVR training result in more rigid and similar generations, while unseen prompts retain greater diversity. We introduce Min-$k$NN Distance, a simple black-box detector that quantifies this collapse by sampling multiple completions for a given prompt and computing the average of the $k$ smallest nearest-neighbor edit distances. Min-$k$NN Distance requires no access to the reference model or token probabilities. Experiments across multiple RLVR-trained reasoning models show that Min-$k$NN Distance reliably distinguishes RL-seen examples from unseen ones and outperforms existing membership inference and RL contamination detection baselines.