RESOURCE2SKILL: Distilling Executable Agent Skills from Human-Created Multimodal Resources
RESOURCE2SKILL通过多模态资源提取可执行技能，提升软件代理性能，平均提升11.9个百分点。
核心发现
方法论
该框架利用层次化多模态技能维基，将教程视频、代码、文章和参考文档融合，采用fθ和AD两个关键组件进行资源提取与验证。通过构建操作器实现离线知识蒸馏，并在推理时动态检索与组合技能，支持在线扩展。多模态内容包括结构化文本、可执行代码、视觉示例和元数据，确保信息互补。评估在七个软件创作领域，采用多模态技能显著优于无技能系统，平均提升11.9个百分点，且在28个模型-领域单元中表现优异。
关键结果
- 在七个软件创作任务中，资源蒸馏技能提升平均得分11.9个百分点，最大提升达30个百分点，显著优于对比系统。技能库规模达到200项时性能趋于饱和，验证了规模效应。在线技能扩展在覆盖新需求方面提升21.6个百分点，显示动态扩展能力。多模态技能格式、层次化组织和源多样性均对性能提升起到关键作用。
研究意义
本研究突破了传统手工或文本为主的技能库限制，有效利用视频等多模态资源，极大丰富了软件代理的知识基础。实现从被动知识存储到主动检索与组合，推动智能代理在复杂软件操作中的应用。该方法为未来自主学习、知识自动化构建提供新思路，具有广泛的工业和学术价值。
技术贡献
提出层次化多模态技能维基架构，结合vision-capable语言模型实现资源蒸馏，创新性地将视频、代码、文章融合为统一技能单元。设计了统一的离线构建与在线扩展机制，支持持续知识更新。引入多源多模态融合策略，显著提升技能表达丰富性和检索效率。实验证明该方法在多个软件领域均优于现有基线，验证了其有效性和扩展性。
新颖性
首次系统性将教程视频等多模态资源自动蒸馏为可执行技能，结合层次化Wiki组织实现高效检索与组合。区别于传统仅依赖文本或代码的技能库，创新性地融合多模态信号，支持动态扩展，解决了多模态信息异构与高维度难以直接利用的问题。
局限性
- 当前方法依赖高质量多模态资源，资源不足或质量低劣时性能受限。模型在极端复杂或新颖任务中的泛化能力仍需提升。多模态融合和检索策略在大规模应用时可能面临计算成本和效率瓶颈。未来需优化资源筛选与知识更新机制，以增强系统的鲁棒性和扩展性。
未来方向
未来将探索更高效的多模态特征融合与表示学习，提升跨领域迁移能力。结合强化学习优化技能组合策略，增强自主学习能力。扩展多模态资源的自动采集与标注，推动技能库的自动化维护。还将研究多模态技能在更复杂环境和多任务场景中的应用潜力，推动智能代理的自主能力发展。
AI 总览摘要
随着人工智能技术的不断发展，软件代理在自动化任务中的作用日益凸显。然而，现有的技能库多为手工编写或基于文本，难以充分利用视频等多模态资源的丰富信息。RESOURCE2SKILL提出了一种创新框架，系统性地将教程视频、代码、文章和参考资料转化为可执行的技能，构建了层次化、多模态的技能维基。该方法通过资源蒸馏和验证机制，确保技能的准确性和实用性。在七个软件创作领域的实验中，RESOURCE2SKILL显著优于无技能系统，平均提升11.9个百分点，验证了多模态融合和层次组织的有效性。这一技术突破不仅丰富了软件代理的知识基础，也为未来自主学习和知识自动化提供了新路径。系统支持在线扩展，能够应对不断变化的任务需求，展现出强大的适应性和扩展性。未来，结合强化学习和自动资源采集，将进一步推动智能代理的自主能力，开启软件自动化的新纪元。
深度分析
研究背景
软件代理的智能化发展依赖于丰富的知识库，早期多依赖手工编写或基于文本的技能库（如SkillFlow、Voyager）。近年来，深度学习模型在理解和生成代码、文本方面取得突破，但多模态资源（视频、图像）在技能学习中的潜力尚未充分挖掘。传统方法难以高效利用视频中的动态操作信息，限制了技能的丰富性和实用性。本研究旨在突破这一瓶颈，将多模态资源转化为可执行技能，提升软件代理的操作能力和泛化能力。
核心问题
现有技能库多为静态、单一模态，难以充分利用教程视频等动态、多感知信息，导致技能表达不足、更新困难。如何自动提取多模态资源中的程序性和感知性信号，构建高效、可扩展的技能库，成为关键难题。特别是在复杂软件操作中，单一文本描述难以捕捉操作的时序、视觉效果和设计风格，限制了代理的自主学习和适应能力。
核心创新
提出层次化多模态技能维基，将视频、代码、文章融合，支持多源信息的互补表达。设计fθ和AD两个核心组件，实现资源的自动蒸馏和验证。采用统一的离线构建与在线扩展机制，支持持续知识更新。引入多模态内容的融合策略，提升技能的丰富性和检索效率。创新点在于将多模态信号转化为结构化、可执行的技能单元，突破了传统单一模态的限制。
方法详解
- �� 资源采集：从教程视频、代码仓库、文章和参考资料中获取多模态内容。• 蒸馏模型：利用vision-capable语言模型fθ提取关键帧、代码片段和文本信息，形成技能候选。• 验证机制：AD组件确保技能的完整性、可执行性和源可靠性。• 构建操作：离线蒸馏形成技能库，支持多模态内容的组织。• 推理阶段：根据用户需求，利用层次化索引检索相关技能，结合多模态信息进行组合。• 在线扩展：当离线库不足时，实时搜索新资源，蒸馏新技能，动态扩充库。
实验设计
在七个软件创作领域（如PPT、Web、Blender等）进行评估，使用多模态技能库与无技能对比。采用不同模型（GPT-5.4、GPT-5.5）和基线（ClaudeCode、Codex）进行性能对比。指标包括任务成功率、得分提升（平均11.9个百分点）、技能库规模影响和在线扩展效果。还进行了消融实验验证多源、多模态融合的必要性和层次化组织的优势。
结果分析
多模态技能显著提升代理性能，平均提升11.9个百分点，最大在UE5领域达40点。技能库规模达到200项时性能趋于饱和，在线扩展在新需求中提升21.6点。多源融合（视频、代码、文章）优于单一源，层次化索引显著减少检索时间。消融实验验证多模态内容和层次结构对性能的关键贡献，显示该方法在多软件场景中的普适性。
应用场景
该技术可广泛应用于智能办公、自动化设计、虚拟仿真等领域，提升软件操作的智能化水平。通过构建丰富的技能库，代理能更好地理解复杂任务，减少人工干预。未来结合自主学习与自动资源采集，将实现更高效的知识更新和技能扩展，推动智能软件的普及。
局限与展望
当前方法依赖高质量多模态资源，资源不足或质量低会影响效果。模型在极端复杂或新颖任务中的泛化能力有限。多模态融合和检索在大规模场景中可能面临计算成本挑战。未来需优化资源筛选、知识更新机制，提升系统鲁棒性和扩展性。
通俗解读 非专业人士也能看懂
想象你在一家厨房做饭，里面有各种食材、工具和食谱。传统做法是看一本食谱书，按照步骤操作，但书里只告诉你文字描述，缺少直观的视觉和操作细节。现在，假设你可以看视频教程，看到厨师实际操作，学会了如何切菜、调味、摆盘。RESOURCE2SKILL就像是把这些视频、工具说明和食谱融合在一起，变成一套智能厨房助手。它能自动学习各种烹饪技巧，并在你需要时，快速找到合适的操作步骤，甚至自己学习新菜谱。这样，厨房变得更智能，做菜也更方便快捷。
简单解释 像给14岁少年讲一样
想象你在学校学做手工艺品，老师会给你视频示范、图解步骤和一些样品。以前，你只能看文字说明，自己琢磨怎么做。而现在，有了这个新系统，就像有个超级助手，它把老师的视频、图片和说明都整理成一套聪明的指南。每次你想做新东西，只要告诉它你的想法，它就能帮你找到最合适的操作方法，还能自己学会新的技巧。这样一来，学手工变得更简单、更有趣，而且还能学到很多新东西，就像有个永远不会累的老师在帮你。
术语表
Multimodal Resources (多模态资源)
包括视频、图像、文本和代码等多种信息形式，用于丰富知识表达。
在论文中指教程视频、文章、代码等多源信息。
Hierarchical Skill Wiki (层次化技能维基)
一种组织技能的结构化数据库，按领域和层级分类，支持检索和组合。
用于存储和管理提取的多模态技能。
fθ
基于视觉能力的语言模型，用于从多模态资源中提取关键信息。
实现资源蒸馏的核心模型。
AD (Validation Component)
技能验证机制，确保技能的完整性、可执行性和源可靠性。
保证技能质量的重要环节。
Resource-to-Skill (资源到技能)
将多模态人类资源自动转化为可执行技能的过程。
论文的核心创新。
开放问题 这项研究留下的未解疑问
- 1 如何进一步提升多模态资源的自动筛选与质量控制，确保在低质量资源环境下的性能稳定。
- 2 多模态融合的效率优化，尤其在大规模应用中的计算成本与实时性问题。
- 3 跨领域迁移能力不足，如何让技能库在不同软件或任务间快速适应。
应用场景
近期应用
智能办公助手
利用多模态技能库，自动生成PPT、网页、表格等，提高办公效率，减少人工操作。
自动化设计工具
在建筑、动画等行业中，快速构建场景和模型，降低专业门槛，提升设计速度。
远期愿景
自主学习与知识更新
未来系统能自主从网络资源中学习新技能，持续扩展知识库，实现真正的自主智能。
原文摘要
Skills are a useful abstraction for software agents, turning human and agent experience into reusable procedural knowledge. Yet existing skill libraries are mostly hand-written, text-centric, or derived from agent traces, leaving tutorial videos and other multimodal human resources largely underused. We present RESOURCE2SKILL, a framework that distills multimodal resources, including tutorial videos, repositories, articles, and reference artifacts, into executable skills for software agents. RESOURCE2SKILL organizes these skills as a hierarchical multimodal Skill Wiki, where each entry combines structured text, code, visual examples, metadata, and provenance. This design preserves complementary signals from different resources: videos capture temporal operations and visual effects, code captures executable tool patterns, and articles or artifacts provide conceptual and stylistic grounding. At inference time, agents retrieve and compose relevant skills from the wiki; when coverage is insufficient, the same construction operator can acquire new skills online. Across seven practical authoring domains, RESOURCE2SKILL improves average overall score by +11.9 percentage points over no-skill agents and outperforms strong harness baselines in 26 of 28 main-aggregate model-domain cells. Ablations confirm the value of multimodal skill format, hierarchical organization, source diversity, selection strategy, and online acquisition.