Bidirectional Context Self-Distillation for Reinforcement Learning of Skill-Based LLM Agents

近年来，随着大规模预训练模型的发展，LLM在多任务场景中展现出强大能力。技能增强方法主要分为两类：一类是外部技能存储与检索（如SkillRL、SkillEvolver），强调技能的可重用性；另一类是技能参数内化（如Skill-SD、SDAR），追求模型自主学习。尽管如此，技能的有效利用仍是瓶颈，尤其在长序列任务中，策略难以区分技能的实际贡献。现有方法多依赖稀疏奖励，导致技能利用不充分。自蒸馏技术的引入，为细粒度监督提供了新途径，但单一上下文信号存在不稳定和偏差问题。本文旨在通过多视角机制，提升技能利用的稳定性和效果，推动强化学习在复杂场景中的应用。

核心问题在于，现有强化学习方法难以确保策略能有效利用外部提供的自然语言技能。稀疏奖励导致对技能应用的反馈不足，模型难以区分技能的有效性与否。此外，单一上下文的自蒸馏信号容易受到偏差和信息泄露影响，造成训练不稳定。如何设计一种机制，使模型在长序列、多技能环境中，既能充分利用外部技能，又能保持训练的稳定性，成为亟待解决的难题。这关系到智能系统的自主学习能力和迁移能力，具有重要的理论和实际意义。

本研究的创新点主要在于引入双向上下文视角，结合Meta-Skill和剪枝视角，设计了BCSD框架。第一，Meta-Skill提供高层次策略指导，帮助模型理解技能的正确应用方式，解决单一上下文信号偏差问题；第二，剪枝视角过滤冗余信息，突出任务相关技能，减少干扰。这两视角通过token级差异调节优势值，动态引导模型学习。与传统单视角自蒸馏不同，BCSD实现优势的自适应调节，增强了模型的稳定性和泛化能力。算法在GRPO基础上创新性地融合多视角信号，为强化学习中的技能利用提供了新思路。

• �� 设计两个互补的上下文视角：一是引入Meta-Skill，提供高层次技能应用指导；二是通过外部LLM剪枝，生成任务相关的剪枝视角。
• �� 在训练过程中，模型在两个视角下分别评估策略，计算每个token的概率差异（∆aug和∆pru），反映不同视角对策略的支持变化。
• �� 利用差异值调节优势值（wi,t），实现优势的动态重调节，确保模型在利用技能时既考虑奖励信息，又考虑上下文信息。
• �� 采用GRPO作为基础优化目标，将调节后的token优势值融合到策略梯度中，优化模型参数。
• �� 定期更新Meta-Skill，确保其反映模型最新的技能利用状态，避免过时。
• �� 通过多次实验验证不同参数设置的效果，确保方法的鲁棒性和泛化能力。

在ALFWorld和WebShop两个长序列任务上，采用不同规模的Qwen模型（如Qwen2.5-7B、Qwen2.5-3B、Qwen3-1.7B）进行训练。比较基线包括Vanilla、Skill_Prompt、Skill_GRPO、Skill-SD、RLSD、SDAR等。指标主要为成功率和任务得分，采用150步训练，评估频率为每15步一次。通过消融实验验证Meta-Skill和剪枝视角的贡献，调节优势调度系数λ的影响，以及多视角信号融合的效果。还分析了训练动态、信号一致性和技能利用情况，确保方法的全面验证。

BCSD在所有模型规模中均优于基线，Qwen2.5-7B模型成功率达83.6%，比最优基线高3.1个百分点；WebShop成功率达78.1%，超越最优基线2.4点。消融实验显示，去除Meta-Skill视角导致性能大幅下降，验证其关键作用。调节参数λ的最优值为0.1，能显著提升训练效果。多视角信号融合增强模型稳定性，长序列任务中表现优越，验证了双向自蒸馏的有效性。整体结果表明，该方法在复杂任务中显著提升技能利用效率，为未来多技能、多任务强化学习提供新思路。

该技术可应用于智能助理、机器人自主学习、多任务系统等场景，尤其在需要复杂技能调度和迁移的环境中具有潜力。模型在训练中保持外部技能的显式性，便于后续编辑和调优，适合工业界的多场景应用。未来，结合多模态信息和自动Meta-Skill生成，有望实现更高效的技能迁移和自主学习能力，推动智能系统的广泛应用。

目前方法依赖预训练Meta-Skill，泛化到新任务或未覆盖技能场景存在挑战。计算成本较高，双视角信号的实时计算增加训练复杂度。在极端稀疏奖励或噪声环境下，优势调节机制可能失效，影响策略稳定性。未来需优化算法效率，增强模型泛化能力，解决实际部署中的成本与鲁棒性问题。