SkillsBench: Benchmarking How Well Agent Skills Work Across Diverse Tasks
SkillsBench基准测试显示，使用精心策划的技能包提高了任务通过率16.6个百分点。
核心发现
方法论
研究使用SkillsBench基准测试，评估87个任务在无技能和有技能条件下的表现。使用18种模型-工具配置，分析技能包对任务通过率的影响。
关键结果
- 结果1：精心策划的技能包将平均通过率从33.9%提高到50.5%，提升16.6个百分点。
- 结果2：在自然科学领域，技能包提升效果最显著，增加28.8个百分点。
- 结果3：小型模型配合技能包的表现可与不使用技能的大型模型相媲美。
研究意义
本研究为评估大语言模型在复杂任务中的技能有效性提供了标准化方法。通过SkillsBench，研究者可以系统地量化技能包的实际贡献，推动AI在专业领域的应用。
技术贡献
提出了首个将技能视为一等评估对象的基准测试，提供了一种配对评估框架，能够在不混淆模型和增强效果的情况下评估其他工件。
新颖性
SkillsBench是首个系统评估技能包对任务执行效果的基准，区别于以往仅评估模型能力的基准测试。
局限性
- 局限1：某些任务中，技能包可能引入额外开销，导致性能下降。
- 局限2：技能包的效用依赖于具体的模型-工具配置。
未来方向
未来研究可探索不同领域的技能包设计，优化技能包的模块化和可重用性，提升AI在更多任务中的表现。
AI 总览摘要
SkillsBench是一个新的基准测试，用于评估大语言模型在多样任务中的技能有效性。研究发现，使用精心策划的技能包可以显著提高任务通过率，尤其是在自然科学等需要专业知识的领域。研究提供了一种配对评估框架，使研究人员能够在不混淆模型和增强效果的情况下，系统地评估技能包的实际贡献。这一基准测试的推出，为AI在专业领域的应用提供了新的可能性。
通过对87个任务的测试，研究表明，技能包的使用可以将平均通过率从33.9%提高到50.5%，提升16.6个百分点。尤其是在自然科学领域，技能包的效果最为显著，提升了28.8个百分点。此外，研究还发现，小型模型配合技能包的表现可与不使用技能的大型模型相媲美。
尽管如此，研究也指出，技能包的效用依赖于具体的模型-工具配置，并且在某些任务中可能引入额外开销。未来的研究可以进一步优化技能包的设计，提高其模块化和可重用性，以提升AI在更多任务中的表现。
深度分析
研究背景
随着AI在生产工作流中的应用日益广泛，如何有效评估大语言模型在复杂任务中的表现成为一个重要问题。以往的研究多集中于模型能力的评估，而忽略了技能包在任务执行中的实际贡献。
核心问题
当前缺乏一种系统的方法来量化技能包对任务执行的实际贡献，尤其是在需要专业知识的复杂任务中。
核心创新
SkillsBench提供了一种配对评估框架，使研究人员能够在不混淆模型和增强效果的情况下，系统地评估技能包的实际贡献。
方法详解
- �� 使用SkillsBench基准测试，评估87个任务在无技能和有技能条件下的表现。
- �� 使用18种模型-工具配置，分析技能包对任务通过率的影响。
- �� 采用配对评估框架，确保结果的可靠性。
实验设计
实验设计包括87个任务，涵盖8个领域。使用18种模型-工具配置，比较无技能和有技能条件下的任务通过率。
结果分析
研究发现，使用精心策划的技能包可以显著提高任务通过率，尤其是在自然科学等需要专业知识的领域。
应用场景
SkillsBench可用于评估AI在专业领域的应用效果，帮助研究人员优化技能包设计。
局限与展望
技能包的效用依赖于具体的模型-工具配置，并且在某些任务中可能引入额外开销。
通俗解读 非专业人士也能看懂
想象你在厨房里做饭。大语言模型就像一个万能厨师，它知道如何做很多菜，但对某些复杂菜肴缺乏具体步骤。技能包就像一本详细的食谱，提供了每道菜的具体做法和注意事项。通过使用这些食谱，厨师可以更好地完成复杂的菜肴。这就是SkillsBench的作用：评估这些食谱在不同菜肴中的效果。
简单解释 像给14岁少年讲一样
想象你在玩一个游戏，你有一个超级角色，但有些关卡特别难。技能包就像游戏中的秘籍，告诉你如何通过这些难关。SkillsBench就是用来测试这些秘籍有多有效的工具。它帮助我们知道哪些秘籍真的有用，哪些只是浪费时间。
术语表
技能包 (Skill Package)
一组用于增强AI模型任务执行的模块化程序包。
在论文中用于提高任务通过率。
基准测试 (Benchmark)
用于评估模型或算法性能的标准化测试。
SkillsBench用于评估技能包的有效性。
大语言模型 (LLM)
一种能够处理和生成自然语言的大规模神经网络模型。
研究中使用LLM进行任务执行。
任务通过率 (Task Pass Rate)
衡量模型在给定任务中成功完成的比例。
用于评估技能包的提升效果。
配对评估 (Paired Evaluation)
在相同条件下比较两种不同设置的性能。
用于比较有无技能包的任务表现。
开放问题 这项研究留下的未解疑问
- 1 如何设计更高效的技能包以适应不同领域的复杂任务？
- 2 技能包在不同模型-工具配置中的表现差异如何优化？
应用场景
近期应用
AI任务优化
通过SkillsBench，研究人员可以优化AI在复杂任务中的表现，尤其是需要专业知识的领域。
远期愿景
跨领域AI应用
SkillsBench可以帮助实现AI在更多领域的应用，推动AI技术的广泛普及。
原文摘要
Agent Skills are structured packages of procedural knowledge that augment large language model (LLM) agents at inference time. Despite rapid adoption, there is no standard way to measure whether they actually help. We present SkillsBench, a benchmark whose current inventory contains 87 tasks across 8 domains paired with curated Skills and deterministic verifiers. Our latest aggregate evaluation runs the 87-task benchmark under matched no-Skills and curated-Skills conditions for 18 model-harness configurations. Curated Skills raise the average pass rate from 33.9% to 50.5% (+16.6 percentage points; 25.5% normalized gain), with configuration-level gains ranging from +4.1 to +25.7 pp. Focused Skills with at most three modules outperform larger or exhaustive bundles, and smaller models with Skills can match larger models without them. SkillsBench establishes paired evaluation as the foundation for rigorous measurement of Skill efficacy on agentic, expertise-heavy work.