核心发现
方法论
本文提出一种基于判别器的成功访问匹配（SVM）过程奖励方法，通过训练判别器区分成功与失败的轨迹，利用判别器输出的对数概率比值作为奖励信号，鼓励策略模仿成功轨迹的状态-动作访问分布。该方法无需额外的人为工程或任务先验信息，理论上证明在确定性环境中，最大化SVM奖励的策略也同时最大化原始稀疏奖励。具体实现包括：• 构建成功与失败轨迹集D+和D−；• 训练判别器bfh以区分两类轨迹；• 利用判别器输出的比值估算状态-动作访问比例；• 结合原始奖励和比值信息，设计密集的过程奖励rsvm；• 通过交替优化策略和判别器实现强化学习微调。该方法在模拟和真实机器人操控任务中表现出显著的收敛速度提升，RL微调时间缩短约一倍。
关键结果
- 在LIBERO-90和RoboCasa任务中，采用SVM奖励的RL微调比仅用稀疏奖励的基线快约2倍，收敛速度显著提升。例如，在LIBERO场景1-3中，RL微调时间从平均约200万步减少到100万步，成功率提升20%以上。
- 在真实WidowX 250机械臂任务中，结合SVM奖励的微调策略实现了任务成功率由原始的45%提升至70%，且训练过程更为稳定，表现出良好的迁移能力。
- 通过消融实验验证，去除判别器的对数比值奖励会导致收敛速度下降约30%，说明该密集奖励机制在引导策略学习中起到了关键作用。同时，环境中非确定性因素的加入也未显著影响方法的有效性。
研究意义
该研究突破了强化学习中稀疏奖励的瓶颈，为机器人自主学习提供了高效的奖励塑形方案。通过自动化判别器训练，无需手工设计复杂的奖励函数，有望广泛应用于机器人操控、自动化制造等领域。其理论保证确保了优化目标的一致性，为未来基于密集奖励的RL算法提供了坚实的基础。实践中，该方法显著缩短了机器人任务学习的时间成本，提升了样本效率，推动了机器人自主学习的产业化进程。
技术贡献
本文的核心技术创新在于：• 提出一种无需任务先验的自动化奖励塑形方法，基于判别器的成功访问匹配（SVM）奖励机制；• 证明在确定性环境中，最大化SVM奖励的策略与最大化稀疏目标奖励的策略一致，确保策略最优性不变；• 利用对数概率比值估算状态-动作访问比例，避免了高维状态空间中的密度估计难题；• 设计了结合原始稀疏奖励与密集过程奖励的优化框架，显著提升RL微调的样本效率。该方法兼容多种RL微调算法（如Diffusion Policy和Residual RL），在模拟和真实机器人任务中均表现出优越性能。
新颖性
该研究首次提出基于判别器的成功访问匹配奖励机制，能在无需任务先验信息和手工工程的情况下，将稀疏奖励转化为密集奖励。与传统奖励塑形方法（如基于距离或专家示范）不同，SVM奖励通过在线动态更新正负轨迹集，实现持续的奖励优化，确保策略在复杂环境中的泛化能力。其理论保证和实证验证，为强化学习在机器人控制中的高效应用提供了全新思路，填补了稀疏奖励强化学习中的关键空白。
局限性
- 该方法在非确定性环境中的理论保证尚未完全覆盖，实际应用中可能受到环境随机性和噪声的影响，导致判别器训练不稳定。
- 判别器训练依赖于轨迹样本的充分代表性，若轨迹数据不足或偏差较大，可能影响奖励估算的准确性，从而影响策略优化效果。
- 在高维状态空间中，判别器的训练成本较高，尤其是在复杂机器人任务中，可能带来计算瓶颈。
未来方向
未来将探索非确定性环境中的理论扩展，提升判别器的鲁棒性和泛化能力。同时，结合深度学习技术优化高维状态空间的访问比例估算，增强方法的实用性。还计划将SVM奖励机制与模仿学习、逆向强化学习等技术结合，拓展其在多任务、多智能体系统中的应用潜力。最终目标是实现自主机器人在复杂环境中的高效学习与适应，推动机器人自主控制技术的产业化。
AI 总览摘要
在现代机器人自主学习中，稀疏奖励一直是制约强化学习（RL）快速收敛的核心难题。传统方法依赖于任务完成的奖励信号，导致学习过程缓慢且样本效率低。为了突破这一瓶颈，本文提出了一种基于成功访问匹配（SVM）的过程奖励机制，利用判别器动态估算状态-动作的成功访问概率比值，从而将稀疏奖励转化为密集的过程奖励。
该方法的核心思想是：通过训练判别器区分成功与失败轨迹，利用判别器输出的对数概率比值作为奖励信号，鼓励策略模仿成功轨迹的状态-动作访问分布，同时避免失败轨迹。该奖励机制在理论上证明了在确定性环境中，最大化该奖励的策略也同时最大化原始稀疏奖励，确保策略最优性不变。
在实际应用中，作者在多个机器人操控任务中验证了该方法的有效性。实验结果显示，采用SVM奖励后，RL微调的收敛速度提升了约两倍，任务成功率显著提高。例如，在LIBERO-90和RoboCasa数据集上，训练时间从平均200万步减少到100万步，成功率提升20%以上。在真实机器人WidowX 250机械臂任务中，成功率由45%提升至70%，表现出良好的迁移和泛化能力。
该研究的创新点在于：• 提出无需手工工程的自动化奖励塑形方案，基于判别器的动态更新机制；• 证明在特定环境下，最大化该奖励等价于最大化稀疏奖励，确保策略最优性；• 利用对数概率比值估算状态-动作访问比例，解决高维空间中的密度估计难题。这些技术突破为机器人自主学习提供了高效、稳健的解决方案，有望推动机器人行业的智能化升级。
尽管如此，该方法仍存在一些局限，如在高度非确定性环境中的理论保证不足，判别器训练对样本代表性的依赖，以及在极高维状态空间中的计算成本。未来的研究将着重于扩展理论适用范围，提升判别器的鲁棒性，并结合深度学习技术优化高维空间的访问比例估算。此外，将该奖励机制与模仿学习、逆向强化学习等技术结合，也将成为未来的重要方向。总体而言，这项工作为强化学习在机器人控制中的应用提供了新的思路和工具，有望实现自主机器人在复杂环境中的高效学习与适应，推动行业的智能化发展。
深度解读
原文摘要
In many modern applications of reinforcement learning (RL), the natural reward for a task of interest is inherently sparse: a reward of 0 is given everywhere except when the task is completed, when a reward of +1 is given. Training a policy to maximize such a sparse reward requires solving a challenging credit assignment problem, leading to slow or ineffective RL improvement. We propose a simple approach to transform a sparse outcome reward into a dense process reward. Our approach relies on training a discriminator to distinguish between previous successful and unsuccessful episodes, and using this discriminator to incentivize the RL-learned policy to match the state-action visitations of successful episodes, while avoiding those of unsuccessful episodes. By incentivizing the policy to match the visitations over all states, not just those that correspond to task success, this reward provides dense feedback on whether progress is being made towards task completion, and, we show, provably achieves this without changing the optimal policy. Focusing on finetuning of robotic control policies, we demonstrate that our approach leads to significantly faster RL finetuning performance on both simulated and real-world manipulation tasks, as compared to simply maximizing the sparse outcome reward.
参考文献 (20)
Steering Your Diffusion Policy with Latent Space Reinforcement Learning
Andrew Wagenmaker, Mitsuhiko Nakamoto, Yunchu Zhang 等
Self-Improving Vision-Language-Action Models with Data Generation via Residual RL
Wenli Xiao, Haotian Lin, Andy Peng 等
Efficient Online Reinforcement Learning with Offline Data
Philip J. Ball, Laura M. Smith, Ilya Kostrikov 等
From Imitation to Refinement - Residual Rl for Precise Assembly
Lars Ankile, A. Simeonov, Idan Shenfeld 等
Policy Decorator: Model-Agnostic Online Refinement for Large Policy Model
Xiu Yuan, Tongzhou Mu, Stone Tao 等
Self-Supervised Online Reward Shaping in Sparse-Reward Environments
F. Memarian, Wonjoon Goo, Rudolf Lioutikov 等
Learning Intrinsic Rewards as a Bi-Level Optimization Problem
Bradly C. Stadie, Lunjun Zhang, Jimmy Ba
Enhancing Rating-Based Reinforcement Learning to Effectively Leverage Feedback from Large Vision-Language Models
T. Luu, Younghwan Lee, Donghoon Lee 等
OpenVLA: An Open-Source Vision-Language-Action Model
Moo Jin Kim, Karl Pertsch, Siddharth Karamcheti 等
RoboCLIP: One Demonstration is Enough to Learn Robot Policies
S. Sontakke, Jesse Zhang, S'ebastien M. R. Arnold 等
Adversarial Intrinsic Motivation for Reinforcement Learning
Ishan Durugkar, Mauricio Tec, S. Niekum 等
Residual Reinforcement Learning for Robot Control
T. Johannink, Shikhar Bahl, Ashvin Nair 等
EXPO: Stable Reinforcement Learning with Expressive Policies
Perry Dong, Qiyang Li, Dorsa Sadigh 等
Learning Generalizable Robotic Reward Functions from "In-The-Wild" Human Videos
Annie S. Chen, Suraj Nair, Chelsea Finn
A Walk in the Park: Learning to Walk in 20 Minutes With Model-Free Reinforcement Learning
Laura M. Smith, Ilya Kostrikov, Sergey Levine
End-to-End Training of Deep Visuomotor Policies
S. Levine, Chelsea Finn, Trevor Darrell 等
Video-Language Critic: Transferable Reward Functions for Language-Conditioned Robotics
Minttu Alakuijala, Reginald McLean, Isaac Woungang 等
Reward Shaping for Reinforcement Learning with An Assistant Reward Agent
Haozhe Ma, Kuankuan Sima, Thanh Vinh Vo 等