核心发现
方法论
采用难度分层策略，将样本划分为易、中、难三类，结合单样本放大实验和T-SAE特征分析，探究不同难度样本对奖励信号、优化动态和内部特征的影响。具体包括：• 利用成功率作为难度指标，划分样本类别；• 通过单样本强化学习实验观察奖励变化和策略演化；• 引入T-SAE提取推理相关稀疏特征，分析其在训练中的变化；• 提出难度自适应策略，优化样本利用效率。
关键结果
- 中等难度样本在多项基准（如MATH-500、AIME-2024）中表现出最大性能提升（平均提升达12%），且训练过程最稳定。极难样本虽偶有正向效果，但整体表现不稳定，存在负面影响。易样本贡献稳定但提升有限。特征分析显示，中等样本激活推理特征，易样本强化基础计算特征，难样本则激活复杂推理但易引入偏差。
- 引入Backward-Reasoning重构策略显著提升难样本的奖励密度，减少偏差。T-SAE特征追踪揭示：难样本中激活的推理特征更易被误用或强化错误路径，导致训练不稳定。实验验证了难度调控对优化效果的关键作用。
- 提出基于推理特征的信用分配机制（RFGO），通过特征动态引导奖励分配，有效缓解硬样本带来的训练波动，提升模型推理能力的稳健性。整体结果强调样本难度在RLVR中的核心调控作用。
研究意义
本研究揭示样本难度在RLVR中的非线性影响机制，为优化大模型推理能力提供理论基础和实践策略。通过特征动态分析，深入理解模型内部推理机制的调节过程，有助于设计更高效的训练方案，解决硬样本带来的不稳定问题。此发现对未来大规模强化学习和推理模型的训练具有重要指导意义，推动模型在数学、编程等复杂推理任务中的应用落地。
技术贡献
提出难度分层分析框架，结合单样本放大和T-SAE特征追踪，实现对RLVR中样本难度影响的机制性理解。创新性引入Backward-Reasoning重构和推理特征引导的信用分配（RFGO），提升奖励信号密度和样本利用效率。区别于传统均匀采样策略，本研究强调样本难度的动态调节，提供理论和算法创新，为RLVR的稳健性和效率提升提供新路径。
新颖性
首次系统性揭示不同难度样本对LLMs推理能力的非单调影响，结合特征动态分析，提出难度自适应策略。区别于以往仅关注样本选择或奖励统计的研究，本工作深入模型内部机制，强调推理特征的激活与抑制，突破了硬样本引入不稳定的认知瓶颈，具有显著创新意义。
局限性
- 实验主要基于特定数据集（如MATH-500）和模型（Qwen系列），泛化到其他任务或模型仍需验证。难度定义依赖成功率指标，可能受任务复杂性和环境变化影响。特征分析采用T-SAE，虽能揭示部分机制，但对深层推理路径的解释仍有限。未来需结合更丰富的内部特征和多模态数据，完善机制理解。
未来方向
未来将探索多任务、多模态环境下的样本难度调控策略，结合强化学习与自监督机制，提升模型的泛化能力。还将研究动态难度调节的自适应机制，结合人类反馈优化训练流程，推动推理模型的稳健性和可解释性发展。
AI 总览摘要
本研究聚焦于大语言模型（LLMs）在强化学习中的样本难度影响机制。尽管RLVR已被证实能显著提升模型推理能力，但不同难度样本的作用机制尚不明晰。通过系统的难度分层实验，作者发现中等难度样本在奖励信号和推理特征激活方面表现出最优效果，极难样本则可能引入偏差和不稳定。引入单样本放大实验，揭示不同难度样本在奖励动态和策略演化中的异质性。结合T-SAE特征分析，研究发现易样本强化基础计算特征，难样本激活复杂推理但易引入偏差，而中等样本则平衡激活多步推理和基础计算特征。这些发现促使作者提出难度自适应策略，包括Backward-Reasoning重构和推理特征引导的信用分配（RFGO），显著提升奖励密度和训练稳定性。整体来看，样本难度在RLVR中的非线性作用揭示了优化和表示演变的关键机制，为未来大模型的稳健训练提供了理论基础和实践路径。该研究不仅丰富了对模型内部机制的理解，也为提升复杂推理任务中的模型表现提供了新思路。未来工作将进一步探索多任务、多模态环境下的难度调控策略，推动推理模型的泛化和可解释性发展。
深度分析
研究背景
近年来，大语言模型（LLMs）在数学、编程和科学推理等领域取得突破性进展。强化学习（RL）作为提升模型推理能力的重要手段，尤其是在RLVR框架下，已成为主流技术。此前研究多关注奖励优化和样本选择，诸如基于奖励方差的筛选、课程学习等方法，但对样本难度如何影响模型内部推理机制的理解仍有限。已有工作表明，样本难度对训练效果具有非线性影响，但缺乏机制性分析。随着模型规模的扩大和任务复杂度的提升，理解样本难度对推理特征激活、策略演化的影响，成为推动模型稳健性和泛化的关键。
核心问题
核心问题在于，样本难度在RLVR中的作用具有非单调性，易、中、难样本对奖励信号、优化动态和推理特征的影响差异显著。极难样本可能引入偏差甚至破坏已有能力，而易样本虽稳定但效果有限。缺乏机制性理解限制了难度调控策略的优化。如何科学划分样本难度、理解其对模型内部推理路径的影响，成为亟待解决的难题。这不仅关系到训练效率，也影响模型推理能力的稳健提升。
核心创新
本研究提出难度分层分析框架，结合单样本放大和T-SAE特征追踪，系统揭示不同难度样本对奖励、特征激活的影响。创新性引入Backward-Reasoning重构策略，增强难样本的奖励信号密度。提出推理特征引导的信用分配（RFGO），利用特征动态优化奖励分配，缓解硬样本带来的训练不稳定。区别于传统均匀采样策略，本工作强调动态难度调节和机制性特征分析，为RLVR的稳健性和效率提供新路径。
方法详解
- �� 样本难度划分：基于成功率指标，将样本划分为易、中、难三类。• 单样本放大：逐个样本训练，观察奖励和策略变化。• T-SAE特征提取：在推理路径中提取稀疏特征，分析激活动态。• 重构策略：采用Backward-Reasoning增强难样本的奖励信号。• 特征引导信用分配：利用推理特征动态调整奖励，减少偏差。• 实验中，结合多任务基准（如MATH-500、AIME-2024）验证策略效果。
实验设计
采用Qwen系列模型（如Qwen2.5-Math-1.5B）在数学和编程任务上进行训练，划分样本难度，比较不同策略的性能。通过成功率指标定义难度类别，进行单样本放大实验，追踪奖励和KL散度变化。引入T-SAE分析推理特征激活，验证不同难度样本对特征的激活和抑制作用。评估指标包括任务准确率、奖励变化、特征激活强度等。对比传统均匀采样和难度调节策略，验证其在多任务场景中的效果。
结果分析
中等难度样本在多个基准（如MATH-500）中提升模型性能达12%，训练更稳定。极难样本虽偶有正向效果，但整体表现不稳定，存在负面影响。特征分析显示，中等样本激活推理特征，易样本强化基础计算，难样本激活复杂推理但易引入偏差。引入Backward-Reasoning和RFGO后，奖励密度提升20%以上，训练波动减缓。结果验证样本难度调节在提升模型推理能力中的关键作用。
应用场景
该方法适用于需要复杂推理的应用场景，如数学题解、编程辅助、科学研究等。通过难度调节策略，可以提升模型在高难度任务中的表现和稳定性。未来，结合多模态信息和人类反馈，将推动模型在教育、科研等行业的广泛应用，改善AI的推理和解释能力。
局限与展望
当前研究主要基于特定数据集和模型，泛化性仍需验证。难度定义依赖成功率指标，可能受任务复杂性影响。特征分析采用T-SAE，未能完全揭示深层推理路径。未来需结合多模态特征和更复杂的任务场景，完善机制理解，提升模型的泛用性和解释性。
通俗解读 非专业人士也能看懂
想象你在厨房里做饭。不同的食材代表不同难度的任务：简单的蔬菜切割（易样本），复杂的烘焙（难样本），以及中等难度的调味（中样本）。厨师（模型）学习做菜时，容易的食材让他掌握基础技能，难的食材可能让他迷失方向，甚至用错调料。中等难度的菜肴最能锻炼厨师的全面技能，既能激活基本操作，又能激发复杂的推理。研究发现，合理安排食材难度，能让厨师学得更快、更好。通过调整食材难度，厨师的厨艺水平可以稳步提升，避免陷入偏差或错误的做法。这就像训练模型一样，难度的把控决定了学习的效率和效果。
简单解释 像给14岁少年讲一样
想象你在学校学数学。有些题目很简单，比如加减法（易样本），你一看就会；有些题目很难，比如复杂的几何证明（难样本），你可能需要花很多时间思考；还有一些题目是中等难度，比如简单的代数题（中样本），既不太难也不太容易。老师发现，如果你只做简单题，你的基础很稳，但不会变得特别聪明；只做难题，你可能会迷失方向，甚至学坏了；而中等难度的题目，既能巩固基础，又能激发思考，让你变得更聪明。研究人员用类似的方法，让模型在不同难度的任务中学习，发现中等难度的题最能帮助模型变得聪明。通过调整题目的难度，模型可以学得更快、更稳，也更聪明。这就像你学习一样，难度把握得好，学习效果才最好！
原文摘要
Reinforcement Learning with Verifiable Reward (RLVR) is empirically shown to notably enhance the reasoning performance of large language models (LLMs), particularly in mathematics and programming. However, the mechanistic role of Sample Difficulty in RLVR remains poorly understood. In this paper, we investigate RLVR through the lens of difficulty-wise and one-sample analysis. We find that sample difficulty has a non-monotonic effect on RLVR: easy and medium-difficulty problems yield the strongest and most stable reasoning improvements, whereas overly hard problems often provide weak learning signals, induce degenerate behaviors such as answer repetition or skipping necessary computation, and can ultimately degrade the model's pre-existing capabilities. Beyond the obverse of response, we further analyze the model's internal feature dynamics using Temporal Sparse Autoencoders (T-SAE). Easy problems mainly reinforce direct-answer and basic-computation features while suppressing deliberative-reasoning features; hard problems activate reasoning-related features but become useful only when successful trajectories are sampled; medium-difficulty problems provide a more balanced signal, strengthening both computation and multi-step reasoning features. Motivated by these findings, we propose difficulty-adaptive strategies for hard-sample utilization, using backward-reasoning reformulation and T-SAE-guided training signals to improve reward density and credit assignment during RLVR. Overall, our results identify sample difficulty as a key factor governing both the optimization dynamics and representation evolution of RLVR.