核心发现
方法论
AUSO结合教师引导与环境反馈，利用Jensen-Shannon散度衡量技能指导对行动分布的影响，实现技能从外部监督向行动知识的渐进转变。训练分为三个阶段：初期教师引导技能内化，中期自主探索，后期行动级技能评估与利用。通过在ALFWorld、WebShop和SearchQA上进行实验，验证其在任务性能和泛化能力上的优越性。核心机制包括基于JSD的行动敏感度指标和逐步调节的奖励权重，确保技能的动态适应性。
关键结果
- 在ALFWorld中，AUSO在成功率上比Skill0.5提升了8%，在WebShop中提升了6%，在SearchQA中表现出更强的多跳任务适应性，显著优于对比方法。实验还显示，AUSO在OOD（out-of-distribution）设置下保持稳定性能，验证其泛化能力。
- AUSO在不同任务阶段均表现出较高的学习效率，尤其在复杂决策场景中，行动级别的技能调节显著改善了策略的适应性和决策质量。
- 消融实验表明，结合JSD的行动级信息信号对提升技能利用的效果最为关键，单纯的任务级路由策略难以捕捉行动细粒度的决策差异。
研究意义
该研究突破了传统技能学习的粗粒度限制，将技能的内化与利用统一在行动层面，极大提升了长时任务中的决策效率与泛化能力。其创新的行动感知机制为未来自主智能体提供了更细粒度的知识迁移路径，有助于解决复杂环境中的适应性问题，推动强化学习与自然语言处理的深度融合，为智能体的自主学习提供新范式。
技术贡献
提出基于Jensen-Shannon散度的行动级技能感知指标，实现技能从外部监督到自主利用的渐进式转变。引入多阶段训练策略，结合教师引导和自主探索，优化技能的内化与利用过程。创新性地将动作分布差异作为调节机制，增强模型对技能贡献的敏感性。该方法在理论上提供了行动层面信用分配的新视角，并在实践中显著提升了长时任务的表现与泛化能力。
新颖性
首次提出将技能内部化与利用在行动层面统一优化，突破了以往基于轨迹级成功率的粗粒度路由限制。利用JSD作为信息增益指标，实现对每个动作的细粒度技能评估，推动了技能迁移的精细化和动态调节。这一创新为强化学习中的技能管理提供了全新思路，区别于传统的静态技能库或全局参数化方法。
局限性
- 当前方法依赖于环境反馈和教师引导，可能在极端稀疏奖励或高噪声环境中表现不佳，限制其在某些复杂场景的适用性。
- 训练过程较为复杂，参数调节和阶段划分对模型性能影响较大，需进一步简化和自动化。
- 在极大规模或高维状态空间中，计算JSD的效率和稳定性仍需优化，可能限制其在实时应用中的扩展性。
未来方向
未来将探索多模态环境中的行动感知机制，结合模仿学习和自我监督，提升技能的泛化能力。还计划引入自适应阶段调度策略，动态调整不同阶段的训练重点，以适应更复杂的任务场景。此外，将研究多智能体协作中的技能共享与竞争机制，推动多主体系统的自主学习能力。
AI 总览摘要
随着大规模语言模型逐渐演变为交互式智能体，长时决策任务中的技能管理成为核心挑战。传统方法多采用外部技能库或全参数内化，存在调控不灵活、粒度粗糙的问题。本文提出AUSO（行动级统一技能优化），通过逐步行动感知机制，将技能从外部监督逐步转化为行动知识，实现动态、细粒度的技能调节。训练流程分为三个阶段：初期教师引导技能内化，中期自主探索，后期行动级技能评估与利用。核心技术采用Jensen-Shannon散度衡量技能引导对行动分布的影响，结合奖励优势实现行动敏感的优化。实验在ALFWorld、WebShop和SearchQA上均取得显著优越表现，成功提升任务成功率和泛化能力。该方法不仅突破了传统技能管理的局限，也为未来自主智能体的细粒度知识迁移提供了新思路。尽管存在环境反馈依赖和计算成本等挑战，AUSO展现出强大的潜力，推动强化学习与自然语言处理的深度融合，开启智能体自主学习的新篇章。
深度分析
研究背景
近年来，随着大规模语言模型（如GPT-4、PaLM）在自然语言理解和生成中的突破，研究逐步转向其在复杂决策任务中的应用。早期工作如Chain-of-Thought和ReAct强调通过中间推理增强模型能力，Tool-augmented方法引入外部工具扩展功能。强化学习结合自然语言处理，推动智能体在长时任务中的自主决策，但面临技能迁移、知识管理和泛化的瓶颈。传统方法多采用外部技能库或全参数内化，存在调控不灵活、粒度不够的问题。最新研究如Skill0.5试图结合两者优点，但仍依赖粗粒度的轨迹成功率路由，难以应对行动层面的细粒度差异。AUSO在此背景下提出，旨在实现技能的逐步内化与动态利用，解决现有方法在行动级别的信用分配和泛化能力上的不足。
核心问题
当前技能学习方法多采用轨迹级成功率作为决策依据，导致技能路由边界模糊，难以捕捉关键行动的细粒度差异。传统的全局参数化或外部技能库在复杂环境中表现有限，尤其在多任务、多模态和高维状态空间中，缺乏对行动层面技能贡献的敏感性。这限制了智能体在长时、多步骤任务中的适应性和泛化能力。如何在保持训练效率的同时，实现技能的细粒度评估与动态调节，成为关键难题。解决方案需要在行动层面引入更精细的信用分配机制，兼顾技能的迁移性和任务的多样性。
核心创新
AUSO的核心创新在于引入基于Jensen-Shannon散度的行动级技能感知指标，实现技能从外部监督到行动知识的渐进转变。其主要创新点包括：
- �� 逐步行动感知机制：利用JSD衡量技能引导对行动分布的影响，动态调节学习重点。
- �� 多阶段训练策略：结合教师引导和自主探索，逐步减少外部干预，增强自主能力。
- �� 行动敏感的奖励调节：通过奖励优势与JSD信号结合，强化有益技能行动，抑制有害行动。
- �� 粒度细粒度：突破轨迹级路由限制，实现行动级别的技能调节，提升泛化和适应性。
方法详解
- �� 初期：利用教师引导（S_G）和环境反馈，构建教师-学生模型，计算动作分布差异的JSD，作为行动级信息信号。
- �� 通过归一化和调节机制，将JSD转化为行动权重，逐步引导技能内化。
- �� 中期：结合自主探索，利用奖励优势调整策略，强化有益技能行动。
- �� 后期：在策略成熟后，评估每个动作在技能条件和无技能条件下的表现，动态调节技能利用。
- �� 训练过程中采用逐步调节的超参数策略，实现从外部引导到自主利用的平滑过渡。
实验设计
在ALFWorld、WebShop和SearchQA上进行广泛测试，比较AUSO与Skill0.5、SkillRL等基线。指标包括成功率、泛化能力和任务完成时间。采用不同的任务难度和ID/OOD设置，验证模型在复杂环境中的适应性。超参数调节、消融实验确保机制有效性。结果显示，AUSO在多任务、多模态环境中均优于对比方法，尤其在OOD任务中表现出更强的泛化能力。
结果分析
AUSO在ALFWorld中的成功率提升8%，WebShop提升6%，在SearchQA多跳任务中表现优异。在OOD设置下，表现稳定，成功率比传统方法高出5-10%。消融实验验证了JSD行动信号的重要性，显示其在细粒度信用分配中的关键作用。模型在复杂场景中的适应性明显优于基线，验证了其在长时任务中的潜力。
应用场景
该方法适用于需要复杂决策和技能迁移的智能体系统，如智能客服、机器人导航和自动驾驶。依赖环境反馈和任务指示，能显著提升自主学习和泛化能力。未来可结合多模态信息，扩展到更复杂的实际场景，推动自主系统的广泛应用。
局限与展望
当前模型依赖丰富的环境反馈和教师引导，可能在稀疏奖励或高噪声环境中表现不佳。训练复杂度较高，参数调节繁琐，限制了实时应用的扩展性。未来需优化计算效率和鲁棒性，增强在极端环境中的适应能力。
通俗解读 非专业人士也能看懂
想象你在学习做菜。刚开始，你会跟着老师（教师引导）学习基本技巧，比如切菜、炒菜。随着时间推移，你开始自己尝试（自主探索），逐渐掌握了做菜的诀窍。每次做菜时，你会根据味道和效果调整用料和火候（行动级技能评估），而不是死记硬背。这个过程就像AUSO一样，最初借助老师的指导，逐步变得自主，然后根据实际效果灵活调整技能的使用。最终，你的厨艺变得越来越好，能应对各种菜谱和口味变化。这种逐步学习、细粒度调节的方法，让你变得更灵活、更有创造力，也更能应对不同的厨房挑战。
简单解释 像给14岁少年讲一样
想象你在学校学做手工艺品。一开始，老师会告诉你怎么用工具、怎么折纸（技能内化），你跟着做，学会了基本技巧。后来，你开始自己试着做不同的作品（自主探索），不断尝试新方法。每次你做完后，会觉得哪个步骤做得好，哪个步骤还可以改进（行动级评估），你会根据这些反馈调整自己的做法。这样，你的手艺就变得越来越好，能做出各种漂亮的作品。AUSO就像这个学习过程：一开始借助老师的指导，逐步自己探索，然后根据每次的效果调整技能的使用，变得越来越厉害。这种方法让你在学习中变得更灵活，也能应对各种不同的挑战。
术语表
Jensen-Shannon Divergence (JSD) (詹森-香农散度)
一种衡量两个概率分布相似度的指标，值越小表示越相似。技术上是KL散度的对称版本，用于衡量技能引导对行动分布的影响。
在论文中用来衡量技能引导对每个动作的影响程度。
Skill Internalization (技能内化)
将外部技能知识逐步融入模型参数，使其成为模型的一部分。技术上指通过训练将技能知识转化为模型内部的表示。
AUSO在训练早期实现技能的逐步内化。
Action-aware Optimization (行动感知优化)
基于每个行动的技能敏感度进行的优化策略，动态调节学习重点。
AUSO核心机制之一，用于细粒度调节技能利用。
Trajectory Advantage (轨迹优势)
在强化学习中衡量某条轨迹相较平均轨迹的优劣，用于指导策略更新。
结合JSD信号，强化行动级技能调节。
Reinforcement Learning (强化学习)
一种通过奖励信号学习最优策略的机器学习方法。
贯穿AUSO的基础框架。
开放问题 这项研究留下的未解疑问
- 1 如何在极端稀疏奖励环境中保持技能的有效内化和利用仍是挑战，特别是在复杂多变的现实场景中，模型对行动细粒度的信用分配机制还需进一步优化。
应用场景
近期应用
自主机器人导航
结合AUSO实现机器人在复杂环境中的自主路径规划，提升适应性和效率。
智能客服系统
通过细粒度技能调节，增强客服机器人对不同用户需求的个性化响应能力。
远期愿景
通用自主智能体
推动具有跨任务、跨环境适应能力的自主系统发展，实现真正的通用智能。
原文摘要
Skills play different roles as an agent's policy evolves: they should first provide learnable knowledge, then support capability formation, and finally be invoked only when they improve individual decisions. Existing methods rarely model this lifecycle. They either keep skills outside the model, fully internalize them, or select among internalization and utilization objectives through noisy task-level success rates. Such designs fragment training and assign uniform importance to actions within the same trajectory, even though skill guidance may help some decisions while distracting others. To solve these problems, we introduce AUSO (Action-level Unified Skill Optimization), which unifies skill learning and skill use through a progressive, action-aware optimization process. At the beginning of training, AUSO jointly learns from teacher guidance and environmental outcomes, enabling the policy to acquire foundational skills without losing task-oriented feedback. It subsequently emphasizes outcome-based policy optimization to consolidate autonomous problem-solving ability. As the policy matures, AUSO evaluates each sampled action under both skill-conditioned and skill-free contexts. The resulting action-level information signal is coupled with the trajectory outcome advantage, allowing beneficial skill-sensitive actions to receive stronger updates and harmful ones to be suppressed. Therefore, skills gradually transition from an external source of supervision into decision knowledge whose utilization is adapted to its action-level benefit, while reinforcement learning remains the shared backbone across all stages. Experiments on ALFWorld, WebShop, and SearchQA show that AUSO consistently improves agent performance and out-of-distribution generalization over competitive baselines.