核心发现
方法论
GOLF框架结合外部批评和组内尝试两种自然语言反馈，利用聚合机制生成高质量修正。核心组件包括：1）反馈聚合，用于整合错误诊断和多样尝试；2）自适应引入，将优质修正作为离策略引导，缓解稀疏奖励问题；3）联合优化生成与修正，通过统一RL循环提升能力。采用GRPO算法，结合多源反馈，优化策略，增强探索多样性。实验在验证性和非验证性任务上均验证其优越性，样本效率提升2.2倍，表现优于仅用标量奖励的RL方法。
关键结果
- 在五个非验证任务中，GOLF平均性能优于最强基线22.7%，在样本效率方面提升2.2倍，显著加快学习速度。具体在AlpacaEval-v2.0中，训练步数由基线的180步缩短至80步，效率提升2.25倍；在WildBench和ArenaHard-v2.0中，分别实现85.2%和70.7%的性能提升。
- 在验证任务中，GOLF在数学推理、指令跟随和代码生成等多个基准上均优于传统RL和微调方法，AIME24得分提升6.46，指令任务的Pass@4指标也有显著改善，表现出更高的解题多样性和鲁棒性。
- 消融实验显示，外部批评和组内尝试互补性强，联合使用显著优于单一反馈源。自适应引入机制在低奖励区域尤为关键，有效缓解了梯度消失问题，提升探索效率。
研究意义
该研究突破了传统RL仅依赖标量奖励的局限，充分利用自然语言丰富信息，显著提高探索效率和模型能力。其创新机制为大规模语言模型的自主学习提供新思路，推动RL在复杂任务中的应用落地。通过整合多源反馈，模型能更精准地识别错误、探索多样路径，解决稀疏奖励和梯度消失问题，具有深远的理论和实践意义，为未来多模态、多反馈融合的智能系统奠定基础。
技术贡献
提出GOLF框架，首次系统性整合外部批评与组内尝试的自然语言反馈，利用聚合机制生成高质量修正，结合离策略引导缓解稀疏奖励。创新点包括：1）多源反馈的融合策略；2）自适应引入高质量修正作为离策略引导；3）联合优化生成与修正能力。算法在GRPO基础上扩展，增强探索多样性，提升样本利用率，理论上改善梯度信号，实践中显著缩短训练时间，提升性能上限。
新颖性
本研究首次系统性利用群组级自然语言反馈，结合外部批评和组内尝试，创新性地引入自适应离策略修正机制，突破以往仅依赖标量奖励的限制。相较于Critique-GRPO等方法，GOLF在多源反馈融合和优化策略上实现了显著创新，极大丰富了模型的探索路径和修正能力，推动RL在大规模语言模型中的应用向更高效、更智能方向发展。
局限性
- 当前方法对高质量反馈的依赖较大，反馈质量不佳可能影响效果，尤其在反馈噪声较多时表现不佳。
- 在极端稀疏奖励环境中，修正样本的生成仍存在一定局限，可能导致探索偏差。
- 模型训练和推理过程中的计算成本较高，尤其在大模型和多源反馈融合时，硬件资源需求显著增加。
未来方向
未来将探索多模态反馈融合，如视觉、语音信息，提升反馈丰富性和准确性。同时，优化反馈生成机制，降低对高质量反馈的依赖，增强模型的鲁棒性。还计划引入更复杂的自我监督策略，结合元学习和迁移学习，推动GOLF在更复杂、多任务环境中的应用，缩短训练周期，提升泛化能力。
AI 总览摘要
在人工智能领域，强化学习（RL）一直面临探索效率不足的挑战。传统方法依赖稀疏的标量奖励，难以充分利用自然语言反馈中的丰富信息，导致模型在复杂任务中的学习速度缓慢。为解决这一难题，本文提出了GOLF（Group-level Natural Language Feedback），一种创新的RL框架，旨在系统性整合多源自然语言反馈，提升探索效率。
GOLF的核心思想是结合外部批评和组内尝试两种反馈，通过聚合机制生成高质量的修正建议。这些修正作为离策略引导，帮助模型在稀疏奖励区域进行更有针对性的探索。框架中还引入了自适应机制，动态决定何时注入修正，确保在低奖励环境中保持探索多样性。所有组件在一个统一的RL循环中联合优化，形成良性循环，逐步提升模型能力。
实验结果显示，GOLF在多个验证和非验证任务上均优于传统RL和微调方法，样本效率提升2.2倍。在五个非验证任务中，平均性能提升22.7%，在验证任务中，数学推理、指令跟随和代码生成等指标均显著改善。特别是在训练步数方面，GOLF在AlpacaEval-v2.0中仅用80步即达到基线的最终性能，效率提升超过2倍。这表明利用多源自然语言反馈极大加快了模型的学习速度。
该方法的意义在于突破了RL对稀疏奖励的依赖，充分挖掘自然语言中的潜在信息，为大规模语言模型的自主学习提供新路径。其创新机制为未来多模态、多反馈融合的智能系统奠定基础，推动RL在复杂任务中的应用落地。未来工作将聚焦于多模态反馈融合、反馈质量提升及模型泛化能力增强，期待引领AI探索更高效、更智能的发展方向。
深度分析
研究背景
近年来，基于大规模预训练模型的强化学习（RL）取得了显著进展，尤其是在偏好对齐和推理能力方面。早期工作如RLHF（Ouyang et al., 2022）主要依赖标量奖励信号，通过人类偏好或奖励模型引导学习。然而，这些方法在面对复杂任务时存在探索效率低、奖励稀疏的问题。近年来，研究逐渐关注利用自然语言反馈（NLF）作为更丰富的监督信息，例如文本诊断、比较和修正建议（Ankner et al., 2024）。Critique-GRPO（Zhang et al., 2025）等方法尝试将外部批评融入RL，但仍未充分利用组内多样化尝试和多源反馈的潜力。与此同时，探索策略的多样性和效率仍是瓶颈，尤其在低奖励环境下模型难以找到有效路径。本文提出的GOLF旨在弥补这些不足，通过多源反馈融合和自适应引导，推动RL在大规模语言模型中的应用迈向新高度。
核心问题
核心问题在于传统RL方法对稀疏奖励的依赖导致探索效率低下，模型难以在复杂环境中快速找到高质量解。自然语言反馈中包含丰富的错误诊断和修正建议，但现有算法未能充分利用这些信息，导致探索路径受限，学习速度缓慢。特别是在奖励信号稀疏或梯度消失时，模型难以获得有效的训练信号，限制了其能力提升。如何有效融合多源、多层次的自然语言反馈，增强模型的探索能力，成为亟待解决的关键问题。
核心创新
GOLF的创新点在于：1）引入多源自然语言反馈的融合机制，将外部批评和组内尝试结合，生成高质量修正；2）设计自适应引入策略，在低奖励区域动态注入修正样本，缓解梯度消失；3）在统一RL循环中联合优化生成与修正能力，形成正反馈机制。这些创新突破了以往仅依赖标量奖励的限制，极大丰富了模型的探索路径，提升了样本利用效率。算法在GRPO基础上扩展，结合多源反馈，有效增强模型的多样性和鲁棒性。
方法详解
- �� 采样响应组：对每个提示，生成N个响应，获得奖励和批评信息。• 反馈聚合：将失败响应及其批评整合成群组级修正提示，捕捉多样失败模式。• 生成修正：在聚合基础上，利用旧策略生成修正响应，评估质量。• 自适应引入：在低奖励状态下，从修正中随机引入高质量样本，替换失败响应，增强探索。• 联合优化：将生成和修正响应合并，使用混合目标（包括剪切的策略梯度）进行策略更新，确保模型在探索和修正能力上同步提升。
实验设计
采用五个非验证任务（如WildBench、ArenaHard）和验证任务（数学推理、指令跟随、代码生成）进行评估。模型包括Llama-3.1-8B和Qwen-3-8B，训练数据来自WildChat-IF和OpenR-Math等。对比基线包括微调和RL方法（如Refinement-FT、Critique-FT、GRPO、Critique-GRPO）。指标涵盖得分、Win Rate、Pass@k等。训练过程中，采用GPT-4作为评判标准，进行多轮采样和评估。关键超参数包括：采样组大小、奖励阈值、引入概率等。还进行了消融实验验证不同反馈源和引入策略的贡献。
结果分析
GOLF在五个非验证任务中平均性能优于最强基线22.7%，在样本效率方面提升2.2倍。训练步数由基线180步缩短至80步，效率提升超过2倍。在验证任务中，数学推理得分提升6.46点，指令任务Pass@4指标显著改善，整体表现优异。消融实验显示，外部批评和组内尝试互补性强，联合使用效果最佳。自适应引入机制在低奖励区域尤为关键，有效缓解梯度消失问题，显著提升探索效率和模型能力。
应用场景
该方法可广泛应用于需要高效探索和修正的自然语言处理任务，如智能问答、自动编程、对话系统等。依赖自然语言反馈的融合机制，能在缺乏明确奖励信号的环境中提升模型性能。未来，结合多模态反馈（如视觉、语音）将进一步拓展应用场景，实现更智能的自主学习系统。
局限与展望
目前GOLF对高质量反馈依赖较大，反馈噪声可能影响效果。在极端稀疏奖励环境中，修正样本生成仍有限，存在探索偏差。模型训练和推理成本较高，硬件资源需求大，限制了大规模应用。未来需优化反馈质量和引入机制，降低成本，增强鲁棒性。
通俗解读 非专业人士也能看懂
想象你在厨房做菜，遇到一道复杂的菜谱。传统做法就像只看食谱上的评分，知道菜做得好坏，但不知道怎么改进。而GOLF就像有一群厨友，他们会告诉你哪里做得不好（外部批评），还会尝试不同的调料和方法（组内尝试），并把好的建议整理出来，告诉你下一次怎么做得更好。这样，你就能更快学会做出美味的菜，而且每次都能尝试不同的做法，变得越来越厉害。这种方法让你在厨房里变得更聪明、更快，做出更好吃的菜。
简单解释 像给14岁少年讲一样
想象你在学校里学习新游戏，刚开始总是输，觉得很难。传统方法就像老师只告诉你你输了，没有告诉你怎么改进。而GOLF就像有一群朋友，他们会告诉你哪里出错了，还会试着用不同的方法玩游戏，帮你找到赢的方法。每次你失败后，他们会整理出一份建议，告诉你下一次怎么做得更好。这样，你学得更快，也能尝试很多不同的策略，不会一直卡在原地。就像和朋友一起玩游戏，大家互相帮忙，变得越来越厉害。
术语表
Natural Language Feedback（自然语言反馈）
用人类自然表达的语言描述错误或建议，提供丰富的指导信息。技术上是模型理解和利用文本中的诊断和修正信息。
在论文中，指模型通过用户或系统生成的文本反馈，指导策略改进。
Group-level Feedback（群组级反馈）
来自一组响应的整体反馈，包含多样尝试和批评，提供更全面的错误信息。技术上通过聚合多次尝试的反馈实现。
用于生成修正建议，丰富模型探索路径。
Off-policy scaffolds（离策略支架）
高质量修正作为离策略样本引入，辅助模型在稀疏奖励环境中探索。技术上通过引入优质样本缓解梯度消失。
在低奖励区域引入修正，提升探索效率。
Mixed Policy Optimization（混合策略优化）
结合在策略和离策略样本上的梯度更新方法，优化模型策略。技术上包括剪切目标和优势归一化。
实现多源反馈的联合优化。
Self-Refinement（自我修正）
模型在生成后根据反馈进行自我改进的能力。技术上通过联合训练提升修正质量。
在训练中增强模型的自主修正能力。
开放问题 这项研究留下的未解疑问
- 1 如何进一步提升反馈质量和多模态融合能力仍未充分解决，特别是在多源信息噪声较大时的鲁棒性问题。未来需研究更智能的反馈筛选和优化机制，以实现更高效的自主学习。
应用场景
近期应用
智能对话系统
利用GOLF提升对话系统的理解和生成能力，尤其在用户反馈稀疏或模糊时，增强系统的自主修正和探索能力。
自动编程助手
结合自然语言反馈优化代码生成模型，加快调试和修正过程，提升开发效率。
远期愿景
自主学习机器人
未来机器人能通过多源反馈自主探索复杂环境，提升自主决策和适应能力，逐步实现更智能的自主系统。
原文摘要
Large language models (LLMs) typically receive diverse natural language (NL) feedback through interaction with the environment. However, current reinforcement learning (RL) algorithms rely solely on scalar rewards, leaving the rich information in NL feedback underutilized and leading to inefficient exploration. In this work, we propose GOLF, an RL framework that explicitly exploits group-level language feedback to guide targeted exploration through actionable refinements. GOLF aggregates two complementary feedback sources: (i) external critiques that pinpoint errors or propose targeted fixes, and (ii) intra-group attempts that supply alternative partial ideas and diverse failure patterns. These group-level feedbacks are aggregated to produce high-quality refinements, which are adaptively injected into training as off-policy scaffolds to provide targeted guidance in sparse-reward regions. Meanwhile, GOLF jointly optimizes generation and refinement within a unified RL loop, creating a virtuous cycle that continuously improves both capabilities. Experiments on both verifiable and non-verifiable benchmarks show that GOLF achieves superior performance and exploration efficiency, achieving 2.2$\times$ improvements in sample efficiency compared to RL methods trained solely on scalar rewards. Code is available at https://github.com/LuckyyySTA/GOLF.