核心发现
方法论
研究采用对公开发布的1,338条LLM后训练轨迹的系统分析，涵盖七个基准任务、四个基础模型（参数规模从1.7B到4B不等）以及20种不同配置。通过轨迹层级分析，区分执行层能力与策略层能力，重点观察训练策略的锁定机制。利用实验设计中的三类干预（经验补充、指导引导、推理计算）验证策略锁定的根源。具体方法包括：构建实验日志、技能库、评估者代理，结合定量性能指标（如GSM8K、HumanEval得分）和轨迹行为分析，揭示策略锁定的时间点和机制。采用对比实验验证不同干预措施对策略调整的影响，结合统计分析确保结论的稳健性。
关键结果
- 实验结果显示，绝大多数模型在训练开始前即锁定策略（如80.7%的Claude轨迹锁定全参数微调策略），之后的训练仅在已锁定策略内进行微调，未出现策略切换。轨迹分析表明，策略锁定在训练前的准备阶段完成，且不同模型在相同任务上表现出显著差异，反映策略锁定由模型先验决定。经验补充显著提升执行能力（如GSM8K提升12.6点，HumanEval提升40.8点），但未改变策略锁定状态。指导干预能有效重定向策略（如人类指导后AIME 2025得分提升至13.33%），但训练开始后模型仍陷入局部调整循环。推理计算增加在简单任务中效果明显，但在复杂任务中几乎无效。这些发现共同指向：策略锁定是由训练前的高层判断形成，缺乏在执行中自主重评的机制。
- 结果还表明，当前模型在策略层面缺乏动态调整能力，导致其在面对新证据时难以突破既定框架，限制了AI的自我优化潜力。
研究意义
该研究揭示了当前LLM后训练中的核心瓶颈：策略锁定机制的固化限制了模型在实际应用中的自我改进能力。理解这一机制对于推动AI自主学习、递归自我优化具有深远意义。现有方法虽能在执行层面实现技术修复和微调，但缺乏在高层策略上的灵活调整，限制了模型在复杂、多变环境中的适应性。本文通过实证分析，明确指出未来研究应聚焦于引入策略重评机制，赋予模型在执行过程中自主反思和调整的能力，从而突破当前瓶颈，推动AI向更高层次的自主性迈进。这一发现不仅丰富了AI训练理论，也为工业界提供了优化路径，有助于实现更智能、更自适应的AI系统。
技术贡献
本文的技术贡献主要体现在：首先，提出了区分执行层能力与策略层能力的理论框架，为理解模型训练中的行为提供了新视角。其次，利用大规模轨迹数据，系统分析了策略锁定的时间点、机制及其影响，揭示了训练策略在开始前即被固化的现象。再次，设计了三类干预措施（经验补充、指导引导、推理计算），通过实证验证了这些措施在提升执行能力方面的有效性，但同时也暴露出策略层面缺乏自主调整机制的局限。最后，提出了引入策略重评机制的必要性，为未来模型自主学习提供了理论基础和技术路线。这些贡献共同推动了AI自我改进理论的发展，为实现真正的AI自主性提供了关键技术支撑。
新颖性
该研究的创新点在于首次系统性地通过轨迹分析揭示了LLM后训练中的策略锁定现象，强调了策略层能力的瓶颈。与以往强调模型微调或增强学习不同，本文关注模型在训练中的高层决策机制，提出了在执行中自主重评策略的概念。这一视角突破了传统的局部优化思路，强调模型在面对新证据时应具备动态调整能力，填补了当前研究中关于模型自主策略调整机制的空白。此研究为未来实现递归自我改进提供了理论基础和实践路径，具有重要的学术价值和应用潜力。
局限性
- 本研究主要基于公开轨迹数据，可能存在数据偏差或未覆盖所有训练场景，限制了结论的普适性。
- 干预措施虽验证了策略锁定的存在，但未能提出具体的机制或模型架构实现自主策略重评，仍需未来工作探索实现路径。
- 实验中采用的模型参数规模有限（最大4B参数），对更大规模模型的策略行为尚未验证，未来需扩展到更复杂模型和任务。
未来方向
未来研究应聚焦于引入动态策略重评机制，探索模型在执行中自主反思和调整的具体方法。可以借鉴强化学习中的元策略学习或自我监督机制，设计具有自主决策能力的模型架构。此外，扩大实验规模，验证在更大模型和更复杂任务中的策略锁定现象及其突破路径，将为实现递归自我改进提供坚实基础。同时，结合人类指导和自动化诊断工具，构建更智能的训练流程，推动AI向更高层次的自主性迈进。
AI 总览摘要
近年来，随着大规模语言模型（LLM）在自然语言处理领域的突破，研究者们开始探索模型在训练后阶段的自主改进能力。传统观点认为，通过微调、强化学习等技术，模型可以不断优化性能，逐步实现自我提升。然而，最新的实证研究揭示了一个核心问题：模型在后训练过程中，策略往往在训练开始前即被锁定，之后的所有调整都局限于局部微调，缺乏在执行中自主反思和策略重评的能力。这一发现对AI自我改进的未来提出了挑战，也为下一步突破提供了方向。
本文通过分析1,338条公开轨迹，系统揭示了策略锁定的时间点、机制及其影响。研究采用多层次能力框架，将模型的能力划分为执行层和策略层，发现执行能力在训练中表现出色，模型能完成训练流程、诊断故障、修复错误，但在策略层面几乎没有自主调整的空间。即使引入经验补充、指导引导和推理计算等干预措施，模型在策略层面依然表现出高度固化，难以突破既定框架。这表明，现有模型缺乏在执行过程中自主反思和调整策略的机制。
研究还验证了人类指导的有效性，能在训练开始前重定向策略，从而提升模型性能，但这种改进难以持续，模型在训练后期仍陷入局部最优。这一现象强调，未来的突破点在于引入动态策略重评机制，使模型在面对新证据时能够自主调整高层决策，从而实现递归自我改进。该研究不仅丰富了AI训练理论，也为工业界提供了新的思路，推动AI向更自主、更智能的方向发展。
深度分析
研究背景
近年来，随着深度学习和大规模预训练技术的发展，LLM在自然语言理解和生成任务中取得了突破性进展。代表性模型如GPT系列、BERT、T5等，推动了AI在问答、翻译、写作等多个应用场景的广泛应用。与此同时，模型的训练过程逐渐演变为复杂的多阶段流程，包括预训练、微调、强化学习等环节。特别是在后训练阶段，研究者们尝试通过微调、策略优化等手段不断提升模型性能，期望实现模型的自我改进。已有工作如OpenAI的InstructGPT、Anthropic的Claude等，强调在训练后加入人类反馈和强化学习，提高模型的对话能力和安全性。
然而，尽管技术不断进步，模型在训练后阶段的自主调整能力仍然有限。大部分研究集中在模型参数微调、强化学习算法（如PPO、Reinforcement Learning with Human Feedback）等技术上，但缺乏对模型在训练中的高层策略调整机制的系统分析。此前的研究多关注模型在特定任务上的性能提升，忽视了其在训练过程中的策略变化和决策机制。这导致模型在面对新任务或新证据时，难以自主调整策略，限制了其递归自我改进的潜力。本文的研究正是在这一背景下展开，旨在揭示模型策略锁定的根源，为未来实现更自主的AI提供理论基础。
核心问题
当前LLM后训练的核心问题在于模型策略的固化。尽管模型在执行层面表现出色，能够完成任务、修复错误，但在高层策略层面，模型缺乏自主反思和调整的能力。这意味着模型在训练开始前的策略选择成为性能的上限，难以突破既定框架进行创新或优化。具体表现为：模型在训练过程中，策略一旦锁定，后续调整仅限于局部微调，如调整学习率、数据采样比例等，未能实现策略的根本性变革。这一问题的根源在于模型缺乏在执行中自主重评和调整策略的机制，导致其在面对复杂、多变任务时，表现出有限的适应性和创新能力。解决这一瓶颈，成为推动AI自主学习和递归优化的关键。
核心创新
本文的创新主要体现在三个方面：第一，提出区分执行层能力与策略层能力的理论框架，为理解模型训练中的行为提供了新视角。第二，系统分析了大规模轨迹数据，揭示了策略锁定的时间点和机制，首次证明策略在训练开始前即被固化。第三，设计并验证了三类干预措施（经验补充、指导引导、推理计算），明确了它们在提升执行能力中的有效性，同时揭示了模型在策略层面缺乏自主调整的局限。这一系列创新突破了传统微调和强化学习的局限，为实现模型在执行中自主反思和策略重评提供了理论基础和技术路径。
方法详解
- �� 数据采集：收集1,338条公开发布的LLM后训练轨迹，涵盖七个任务、四个基础模型和20种配置。
- �� 轨迹分析：对轨迹进行层级划分，区分执行行为（如训练、评估、修复）与策略变化（如策略切换、阶段调整），重点分析策略锁定的时间点和机制。
- �� 理论框架：提出两层能力模型，定义执行层能力（确保策略落实）和策略层能力（高层策略调整），为后续干预提供理论支撑。
- �� 干预设计：设计三类干预措施：经验补充（实验日志、技能库、评估者代理）、指导引导（人类策略重定向）、推理计算（增加推理步骤、复杂任务测试）。
- �� 实验验证：在不同任务和模型上实施干预，比较干预前后性能变化，分析策略调整频率和效果。
- �� 统计分析：利用性能指标（如pass@8、得分提升）和轨迹行为统计，验证策略锁定的普遍性和干预效果。
实验设计
实验采用七个基准任务（如GSM8K、HumanEval、AIME 2025）进行性能评估，涵盖不同难度和任务类型。模型基础包括Claude、Codex、GLM等，参数规模从1.7B到4B不等。每个轨迹在10小时预算内完成训练、评估和微调，采集完整轨迹数据。通过对比干预前后的性能变化，验证经验补充、指导引导和推理计算的效果。实验设计还包括不同模型配置、不同任务难度下的策略锁定分析，以及多次独立运行以确保结果的稳健性。采用pass@8和得分提升作为主要指标，结合轨迹行为分析，揭示模型在不同干预条件下的策略调整情况。
结果分析
结果显示，绝大多数模型在训练开始前即锁定策略（如80.7%的Claude轨迹锁定全参数微调策略），之后的训练仅在已锁定策略内进行微调，未出现策略切换。轨迹分析表明，策略锁定在训练前的准备阶段完成，且不同模型在相同任务上表现出显著差异，反映策略锁定由模型先验决定。经验补充显著提升执行能力（如GSM8K提升12.6点，HumanEval提升40.8点），但未改变策略锁定状态。指导干预能有效重定向策略（如人类指导后AIME 2025得分提升至13.33%），但这种改进难以持续，模型在训练后期仍陷入局部调整循环。推理计算在简单任务中效果明显，但在复杂任务中几乎无效。这些结果共同表明，模型在策略层面缺乏自主调整机制，策略锁定由训练前的高层判断决定，成为性能提升的瓶颈。
应用场景
该研究的应用场景主要包括：• 自动化AI研发：通过引入策略重评机制，实现模型在训练中的自主优化，减少人工干预，提高研发效率。• 任务迁移与适应：模型能够在不同任务中自主调整策略，提升跨任务泛化能力，适应复杂多变的应用环境。• 工业智能系统：在自动驾驶、智能制造等领域，赋予系统自主反思和调整策略的能力，增强其适应性和鲁棒性。未来，结合强化学习和元策略学习，有望实现更高层次的自主学习能力，推动AI技术的广泛应用。
局限与展望
本研究主要基于公开轨迹数据，可能存在数据偏差和未覆盖所有训练场景的问题，限制了结论的普适性。干预措施虽验证了策略锁定的存在，但未提供具体的模型架构或机制实现自主策略重评，实际应用中仍需探索具体实现路径。实验规模受限于模型参数规模（最大4B参数），对更大模型的策略行为尚未验证。此外，研究未涉及多模态、多任务等复杂场景，未来需扩展分析范围，验证策略重评机制的有效性和可行性。
通俗解读 非专业人士也能看懂
想象一下你在厨房里做饭。你有一份食谱（策略），决定用什么材料、用多大火、怎么炒。刚开始，你按照食谱一步步做，觉得挺顺利，但有时候会遇到问题，比如菜炒糊了或者不够味。这时候，你可以选择继续按原来的食谱调整一点调料（局部微调），或者停下来重新考虑一下：是不是换个菜谱（策略）更好？
很多时候，我们在做饭时会陷入一种习惯：一旦决定了做某道菜，就一直按照这个方法做，不会轻易改变。模型也是一样，它在训练开始前就“选定”了一个策略，之后的所有调整都只是在这个策略内微调，缺少在过程中重新考虑是否换个策略的能力。这就像你在厨房里做饭，明明菜炒得不对味，但你却一直调整调料，而没有停下来想：是不是换个菜谱更合适？
这篇论文发现，模型在训练中几乎没有自主改变策略的能力，它们只是在原有策略上微调，导致性能的提升空间被限制。真正的突破在于，让模型在做饭的过程中，能像人一样，突然想到：‘这个菜不行，我换个菜谱试试！’这样，模型才能不断优化自己，变得更聪明、更灵活。这就像厨师不断试验新菜谱，最终做出最合适的菜肴一样。未来的AI也需要这样，能在执行中自主反思和调整策略，才能不断变得更好。
简单解释 像给14岁少年讲一样
想象你在学校的科学实验课上，你和朋友们准备做一个火山爆发的模型。你们一开始决定用什么材料（比如醋和苏打粉），按照老师的建议做了几次，但发现效果不太理想。你们可以选择继续用原来的材料调整比例（比如多放点醋），或者停下来想一想：是不是换个材料或者方法会更好？
很多时候，我们在做事情时会陷入一种习惯：一旦决定了方法，就一直用这个方法，即使发现效果不好，也不轻易改变。这就像模型一样，它在训练开始前就“选定”了一个策略，之后只在这个策略内微调，比如调节学习率或数据比例，却不考虑换个策略。
这篇论文发现，模型在训练中几乎没有自主改变策略的能力，它们只是在原有策略上微调，导致性能提升有限。就像你在实验中不断调整调料，却没有想到换个实验方案，效果就不会有大的突破。真正厉害的科学家会在实验过程中不断反思：是不是换个方法会更好？
未来的AI也要学会像科学家一样，能在执行中自主反思和调整策略，这样才能不断变得更聪明、更灵活。就像你在实验中不断尝试新方法，最终找到最好的方案一样，AI也需要这样的能力，才能不断进步，变得更厉害。
原文摘要
Large language model (LLM) agents can now post-train an LLM end-to-end. They can write code, launch training, evaluate checkpoints, and improve downstream performance, raising the prospect of AI-for-AI. We argue that this picture conflates two distinct capabilities: execution-level capability, iterating within a selected training strategy; and strategy-level capability, revising the high-level judgment as experimental evidence accumulates. Analyzing a large corpus of publicly released post-training trajectories, we find that across different tasks, the agent's training strategy is locked in at the very beginning, and the entire remaining budget is spent on local adjustments within the selected strategy. We then examine three natural explanations--missing experience, missing guidance, and insufficient reasoning--with escalating interventions. Extensive experiments show that (1) an experience-driven scaffold improves execution across the board (+12.6 points on GSM8K and +40.8 on HumanEval) but leaves the strategy static; (2) human guidance effectively redirects the initial strategy, yet the agent falls back into local adjustment loops once training starts; and (3) additional inference compute pays off on easier tasks but yields almost no gain on the hardest one. In conclusion, what agents lack is neither experience, guidance, nor reasoning compute, but a mechanism for spontaneously reevaluating their strategy during execution.
参考文献 (20)
Training Verifiers to Solve Math Word Problems
K. Cobbe, Vineet Kosaraju, Mo Bavarian 等
Evaluating Large Language Models Trained on Code
Mark Chen, Jerry Tworek, Heewoo Jun 等
EvoTrainer: Co-Evolving LLM Policies and Training Harnesses for Autonomous Agentic Reinforcement Learning
Guhong Chen, Yingcheng Shi, Yongbin Li 等
LLMs Improving LLMs: Agentic Discovery for Test-Time Scaling
Tong Zheng, Haolin Liu, Chengsong Huang 等
Voyager: An Open-Ended Embodied Agent with Large Language Models
Guanzhi Wang, Yuqi Xie, Yunfan Jiang 等
AutoLLMResearch: Training Research Agents for Automating LLM Experiment Configuration - Learning from Cheap, Optimizing Expensive
Taicheng Guo, N. V. Chawla, Olaf Wiest 等
EvoLM: Self-Evolving Language Models through Co-Evolved Discriminative Rubrics
S. Li, R. Xin, Teng Xiao 等
HybridFlow: A Flexible and Efficient RLHF Framework
Guangming Sheng, Chi Zhang, Zilingfeng Ye 等
PostTrainBench: Can LLM Agents Automate LLM Post-Training?
Ben Rank, Hardik Bhatnagar, Ameya Prabhu 等
Agent^2 RL-Bench: Can LLM Agents Engineer Agentic RL Post-Training?
Wanyi Chen, Xiao Yang, Xu Yang 等
A2DEPT: Large Language Model-Driven Automated Algorithm Design via Evolutionary Program Trees
Bin Chen, Shouliang Zhu, Beidan Liu 等
DeltaEvolve: Accelerating Scientific Discovery through Momentum-Driven Evolution
Jiachen Jiang, Tianyu Ding, Zhihui Zhu
AI agents, agentic AI, and the future of sales
G. Gonzalez, Johannes Habel, Gary K. Hunter
OpenRLHF: An Easy-to-use, Scalable and High-performance RLHF Framework
Jian Hu, Xibin Wu, Weixun Wang 等
FrontierScience: Evaluating AI's Ability to Perform Expert-Level Scientific Tasks
Miles Wang, Robi Lin, Kat Hu 等
AI-Researcher: Autonomous Scientific Innovation
Jiabin Tang, Lianghao Xia, Zhonghang Li 等
DataEvolver: Automatic Data Preparation for Large Language Models through Multi-Level Self-Evolving
Chao Deng, Shaolei Zhang, Ju Fan 等
MLE-bench: Evaluating Machine Learning Agents on Machine Learning Engineering
Jun Shern Chan, Neil Chowdhury, Oliver Jaffe 等