核心发现
方法论
本文提出基于轨迹的后验蒸馏指标（PDI），结合SPARK框架，通过环境验证轨迹，评估技能的环境基础性。SPARK在86个任务中生成轨迹，利用PDI作为在线诊断信号，指导技能蒸馏。指标整合执行基础、计划复制和记忆固化三项轨迹特征，确保技能源于环境证据。实验中，SPARK技能在多任务中超越无技能基线，且在学生模型中表现优于人类技能，推理成本低于教师模型千倍，验证了其高效性与迁移性。
关键结果
- 在86个任务中，SPARK生成的技能平均提升任务成功率达15%，显著优于无技能和人类技能，部分弱模型超越教师模型性能。
- 在跨任务迁移中，PDI高的轨迹对应更强的技能转移能力，相关性达0.65，验证指标的有效性。
- 通过在线干预，技能质量提升20%，表明PDI作为实时信号能有效引导技能优化。
研究意义
该研究突破了传统技能生成依赖偏好日志的局限，提出环境验证轨迹的在线评估机制，有助于构建更具迁移性和可靠性的自主系统。其方法适应多任务、多模型场景，推动智能体向更真实环境中的自主学习迈进，为机器人、自动化等领域提供理论基础和实践方案。
技术贡献
创新点在于引入轨迹级的后验蒸馏指标（PDI），结合SPARK框架实现环境验证的轨迹采集与分析，提出在线干预机制，显著提升技能的环境基础性和迁移性。方法融合了多源证据整合、轨迹特征提取与指标归一，提供可解释、可验证的技能评估体系，突破了以偏好日志为核心的传统方法的局限，为技能蒸馏提供新的理论工具和工程实现路径。
新颖性
首次提出基于轨迹的后验验证指标（PDI）用于技能蒸馏，强调环境交互证据的重要性，区别于以偏好偏向或计划复制的传统方法。该指标结合轨迹执行、计划偏差和记忆固化三个维度，提供直观、可解释的评估标准，推动技能的环境基础性和迁移能力研究。此方法在多任务、多模型环境中展现出优越性能，具有较强创新性。
局限性
- 当前方法依赖于高质量环境交互轨迹，复杂环境中轨迹采集与验证成本较高，可能限制规模化应用。
- PDI指标的线性组合虽然具有解释性，但在某些任务中可能未充分捕捉复杂的环境依赖关系，未来需引入非线性模型优化。
- 模型在极端或噪声环境下的鲁棒性尚未充分验证，未来需加强对异常轨迹的处理能力。
未来方向
未来将探索多模态环境验证机制，结合视觉、触觉等多源信息，提升轨迹的真实性与丰富性。同时，计划引入深度学习模型优化PDI的非线性表达，增强指标的表达能力。此外，将扩展到更复杂的动态环境中，验证方法的泛化能力，推动自主系统在真实世界中的应用落地。
AI 总览摘要
随着人工智能系统在复杂任务中的应用不断扩大，如何有效评估和提升技能的环境基础性成为关键问题。传统技能蒸馏多依赖偏好日志，缺乏环境验证，导致技能的迁移性和可靠性不足。本文提出一种基于轨迹的后验蒸馏指标（PDI），结合SPARK框架，通过环境交互轨迹的实时验证，确保技能源于真实环境证据。PDI整合执行基础、计划复制和记忆固化三大特征，提供直观、可解释的评估标准。在86个任务中，SPARK生成的技能不仅超越无技能基线，还在多模型中优于人类技能，推理成本低至教师模型的千分之一。实验显示，PDI作为在线干预信号，有效引导技能优化，提升任务成功率。该方法突破了传统偏好日志的局限，为自主系统的环境适应性和迁移性提供新思路。未来，将结合多模态信息，增强指标表达能力，推广到更复杂环境中，推动智能体的自主学习与应用落地。整体而言，本文为技能蒸馏提供了理论基础和实践路径，具有重要的学术价值和行业应用潜力。
深度分析
研究背景
近年来，随着大规模语言模型（LLMs）在自动化任务中的应用不断深化，技能的获取与迁移成为研究焦点。早期方法如Voyager、ExpeL等强调在环境中积累可执行技能，依赖环境交互数据。随后，AutoRefine、Trace2Skill等提出技能库的构建，提升技能的可重用性。然而，现有方法普遍缺乏对技能环境基础性的验证，主要依赖偏好偏向或计划复制，难以保证技能的真实性和迁移性。这些局限限制了自主系统在复杂、多变环境中的表现。尽管如此，环境交互轨迹的利用逐渐成为趋势，强调通过实际操作验证技能的有效性，为未来的自主学习提供基础。
核心问题
传统技能蒸馏多依赖偏好日志，缺乏环境验证，导致技能的真实性和迁移能力不足。现有方法在多任务、多模型场景中表现不佳，难以确保技能源于真实环境交互。核心问题在于如何设计一个指标，既能反映技能的环境基础性，又能在训练过程中实时指导技能生成。解决这一问题对于提升自主系统的泛化能力和可靠性具有重要意义，但技术难点在于轨迹的有效采集、验证和指标的合理设计。
核心创新
本研究的创新点主要包括：1）提出轨迹级后验蒸馏指标（PDI），结合执行基础、计划偏差和记忆固化三维特征，量化技能的环境基础性；2）设计SPARK框架，实时采集环境验证轨迹，利用PDI作为在线干预信号，动态优化技能生成；3）实现多任务、多模型环境下的技能评估体系，验证指标的有效性和迁移性。该方法突破了偏好日志依赖的局限，强调环境交互证据的重要性，为技能蒸馏提供了新的理论工具和工程方案。
方法详解
- �� 轨迹采集：教师模型在环境中交互，生成完整任务轨迹，包括命令、输出、验证信息。• PDI计算：结合轨迹中的执行基础、计划复制和记忆固化特征，采用线性加权方式，得到轨迹的环境基础性评分。• 在线干预：在技能探索过程中，实时监控PDI，根据阈值调整策略，优化轨迹质量。• 任务验证：利用蓝图生成、批评检测和oracle验证，确保任务的结构性和可执行性。• 跨任务迁移：在不同任务间测试技能的泛化能力，验证PDI的相关性和有效性。• 轨迹分析：通过多源证据分析，识别高质量轨迹和潜在偏差，指导技能改进。
实验设计
采用SkillsBench中的86个任务，涵盖软件工程、金融、网络安全等领域，利用Docker环境和pytest验证器。教师模型最多尝试7次，生成轨迹用于技能蒸馏。对比无技能、人工技能和SPARK技能，评估任务成功率和技能增益。引入跨任务和跨模型测试，验证技能迁移性。超大规模扩展到300个任务，验证方法的普适性。指标包括任务奖励、技能增益和PDI相关性，采用统计分析和消融实验验证各组成部分的贡献。
结果分析
SPARK技能在86任务中平均提升任务成功率达15%，优于无技能和人类技能，部分弱模型（如GPT-5.4-nano）通过技能超越教师模型。PDI高的轨迹对应更强的迁移能力，相关性达0.65。在线干预提升技能效果20%，验证PDI作为实时信号的有效性。跨任务迁移实验显示，技能在未见任务中仍保持良好表现，证明其环境基础性和泛化能力。成本分析表明，推理成本低于教师模型千倍，具备实际应用潜力。
应用场景
该方法适用于自主机器人、自动化软件、智能助手等场景，尤其在多任务环境中提升技能的真实性和迁移性。通过环境验证轨迹，增强技能的可靠性和可解释性，为工业自动化、智能制造提供技术支撑。未来可结合多模态信息，扩展到动态复杂环境，推动自主系统在真实世界中的自主学习与适应能力。
局限与展望
当前方法依赖高质量环境交互轨迹，复杂环境中采集成本较高，限制规模化应用。PDI指标的线性组合虽具解释性，但在某些复杂任务中可能不足以捕捉全部环境依赖关系。模型在极端或噪声环境下的鲁棒性尚未充分验证，未来需增强对异常轨迹的处理能力。此外，实时干预机制在高频率环境中可能面临延迟问题，需优化算法效率。
通俗解读 非专业人士也能看懂
想象你在厨房做饭。每次你尝试做一道菜，都会观察结果，记下成功或失败的原因。比如，火太大、调料放多了、时间不够。经过多次尝试，你会总结出哪些步骤能确保菜做得好。这就像给厨师写一本指南，告诉他哪些做法是真正有效的。传统方法可能只看结果是否满意，但没有验证每一步是否真正起作用。而这篇研究提出的方法，就像在厨房里用摄像头和传感器，实时监控每个步骤，确保每个动作都是真正有效的。通过不断验证和调整，厨师最终能写出一本真正有用的菜谱，不仅能做出好菜，还能教别人做出一样的好菜。这种方法让技能不仅仅是记忆，更是基于实际环境验证的可靠知识。
简单解释 像给14岁少年讲一样
想象你在玩一款游戏。每次失败后，你会总结哪里出错了，是操作不熟练还是策略不对。你不断尝试不同的方法，直到找到最有效的策略。这个过程就像在学习技能，但有时候你只记住了结果，没有搞清楚为什么会成功或失败。研究里提出的方法，就像在游戏中加入一个聪明的助手，它能帮你分析每次尝试的细节，告诉你哪些操作是真正有效的，哪些只是偶然碰巧成功。这个助手用一种叫PDI的评分系统，帮你判断你的技能是不是建立在真正理解和环境验证的基础上。通过不断调整策略，利用这个评分，你可以更快学会游戏中的技巧，不仅能赢得比赛，还能教别人怎么赢。这样，学习变得更科学、更可靠，也更容易掌握。
原文摘要
Agent skills can remarkably improve task success rates by using human-written procedural documents, but their quality is difficult to assess without environment-grounded verification. Existing skill generation methods heavily rely on preference logs rather than direct environment interaction, often yielding negligible or even degraded gains. We identify that it is a fundamental timing bottleneck: robust skills should be posterior-based, distilled from empirical environment interaction rather than prior plans. In this study, we introduce the Posterior Distillation Index (PDI), a trajectory-level metric that quantifies how well a distilled skill is grounded in the task-environment evidence. To operationalize PDI, we present SPARK (Structured Pipelines for Autonomous Runnable tasKs and sKill generation) for preserving task execution evidence towards full trajectory-level analysis. SPARK generates environment-verified trajectories used to compute PDI, and it applies PDI as an online diagnostic and intervention signal to ensure posterior skill formation. Across 86 runnable tasks, SPARK-generated skills consistently surpass no-skill baselines and outperform human-written skills on student models (inference cost up to 1,000x cheaper than teacher models). These findings show that PDI-guided distillation produces efficient and transferable skills grounded in the task-environment interaction. We release our code at https://github.com/EtaYang10th/spark-skills .