核心发现
方法论
本文提出了SKIM框架，一种自适应多分辨率软标记压缩方法，用于大语言模型中的程序性知识。SKIM通过创建不同数量的软标记，根据技能的复杂性来提高推理效率，并保持技能使用的有效性。该方法包括技能重建、程序性预热和技能任务对齐三个阶段，确保执行依赖关系的保留。
关键结果
- SKIM在实验中将技能压缩到原始标记长度的30%到60%，同时比现有压缩方法更好地保持了任务性能。
- 在多个技能数据集上的实验表明，SKIM在标记减少的同时保持了高技能任务准确性。
- 与ICAE等方法相比，SKIM在处理程序性问题时表现更佳，避免了系统崩溃。
研究意义
该研究为大语言模型中的程序性知识压缩提供了新的思路，解决了现有方法无法有效压缩程序性知识的问题。通过减少标记消耗，SKIM显著降低了计算和延迟成本，尤其是在涉及频繁更新的社区技能时。
技术贡献
SKIM在技术上与现有方法有根本区别，采用了多分辨率软标记压缩框架，支持离线自我判断机制选择最佳分辨率。通过LoRA模块适配目标模型，确保参数效率，并支持多技能场景。
新颖性
SKIM是首个针对程序性知识压缩的多分辨率软标记框架，与ICAE等方法相比，SKIM不仅保留了程序性依赖关系，还支持快速再生和易于传输的压缩表示。
局限性
- SKIM在处理极复杂的技能时可能需要更高的分辨率，从而增加存储需求。
- 在某些情况下，离线选择的分辨率可能无法适应所有推理场景。
未来方向
未来工作可以探索SKIM在更大规模技能集上的表现，并优化其在不同模型和技能复杂性下的自适应能力。
AI 总览摘要
大语言模型在处理复杂任务时面临着高昂的标记消耗和延迟成本，尤其是在频繁调用的程序性技能中。现有的文本压缩技术主要针对文档中的事实性知识，无法有效压缩程序性知识。为此，研究人员提出了SKIM框架，通过自适应多分辨率软标记压缩方法，解决了这一问题。
SKIM通过创建不同数量的软标记，根据技能的复杂性来提高推理效率，并保持技能使用的有效性。实验结果表明，SKIM能够将技能压缩到原始标记长度的30%到60%，同时比现有压缩方法更好地保持了任务性能。这一方法不仅降低了计算和延迟成本，还为大规模技能集的快速更新和再生提供了可能。
尽管SKIM在技能压缩方面取得了显著进展，但在处理极复杂的技能时可能需要更高的分辨率，增加存储需求。未来的研究可以进一步优化SKIM在不同模型和技能复杂性下的自适应能力，并探索其在更大规模技能集上的表现。
深度分析
研究背景
随着大语言模型的广泛应用，程序性知识的有效管理和压缩变得尤为重要。传统的文本压缩方法主要针对文档中的事实性知识，而程序性知识由于其复杂的依赖关系和频繁的更新需求，给压缩带来了新的挑战。
核心问题
在大语言模型中，程序性技能的频繁调用导致了高昂的标记消耗和延迟成本。现有的压缩方法无法有效保留程序性依赖关系，导致执行失败。
核心创新
SKIM框架通过自适应多分辨率软标记压缩方法，解决了程序性知识的压缩问题。其创新之处在于支持离线自我判断机制选择最佳分辨率，并通过LoRA模块适配目标模型，确保参数效率。
方法详解
- �� SKIM框架包括技能重建、程序性预热和技能任务对齐三个阶段。
- �� 技能重建阶段从大量技能中学习通用表示。
- �� 程序性预热阶段将WikiHow数据集用于弱监督问题回答。
- �� 技能任务对齐阶段使用高容量LLM生成技能依赖问题。
实验设计
实验在BigCodeBench、CHAMP等数据集上进行，使用Qwen3-8B和Phi-4作为目标模型。通过对比ICAE和500xCompressor等基线方法，验证SKIM的压缩效果和任务性能。
结果分析
实验结果显示，SKIM在多个数据集上将技能压缩到原始长度的30%-60%，同时保持了高任务准确性。尤其在程序性问题上，SKIM显著优于ICAE。
应用场景
SKIM适用于需要频繁更新和调用的程序性技能场景，如开发者工具和自动化工作流。其压缩能力显著降低了计算和延迟成本。
局限与展望
SKIM在处理极复杂的技能时可能需要更高的分辨率，增加存储需求。此外，离线选择的分辨率可能无法适应所有推理场景。
通俗解读 非专业人士也能看懂
想象你在厨房里做饭。每次做饭前，你都要查找食谱，这就像大语言模型调用程序性技能。SKIM就像一个聪明的助手，它能把食谱压缩成简单的步骤，让你快速找到关键信息，而不需要每次都翻阅整本食谱。这样，你不仅节省了时间，还能确保每道菜都做得完美。
简单解释 像给14岁少年讲一样
嘿，小伙伴！想象一下，你在玩游戏，每次都要查攻略才能过关。SKIM就像一个超级攻略助手，它能把攻略压缩成几个关键步骤，让你快速过关，而不需要每次都翻整本攻略书。是不是很酷？这样你就能更快地打败Boss，成为游戏高手啦！
术语表
大语言模型 (LLM)
一种能够处理和生成自然语言的大规模神经网络模型。
用于处理复杂任务的自适应工作流。
程序性知识
关于如何执行任务或操作的步骤和流程的知识。
在技能压缩中需要保留的关键信息。
软标记
一种将文本映射到连续表示的压缩方法。
用于SKIM框架中的多分辨率压缩。
LoRA
一种低秩适配模块，用于高效参数调整。
在技能任务对齐阶段用于适配目标模型。
WikiHow
一个大型总结数据集，包含来自WikiHow网站的“如何做”文章。
用于程序性问题回答的弱监督数据。
开放问题 这项研究留下的未解疑问
- 1 如何在极复杂技能上进一步优化SKIM的压缩效率？
- 2 SKIM在不同模型和技能复杂性下的自适应能力如何提升？
应用场景
近期应用
开发者工具
通过压缩程序性技能，降低开发者工具的计算和延迟成本，提升开发效率。
远期愿景
自动化工作流
在大规模自动化工作流中应用SKIM，显著降低资源消耗，实现更高效的流程管理。
原文摘要
Large language models (LLMs) are widely used to tackle complex tasks with autonomous workflows. Recently, reusable natural language skills have emerged as a popular paradigm to inject procedural knowledge into LLM applications. Since popular skills are often invoked repeatedly, placing their full text in every context significantly increases prefill cost and latency. While text compression techniques have the potential to solve this problem, most existing methods are designed to compress factual knowledge in documents instead of procedural knowledge, making them insufficient for skill compression. In this paper, we argue that an effective skill compression method should: 1) preserve logical dependencies among workflows and tool protocols, 2) enable lightweight, offline compression for frequently updated community skills, and 3) be adaptable to varying complexities across skills. To address this, we present SKIM (SKIll coMpression), an adaptive multi-resolution soft token compression framework for procedural skills. Depending on the complexity of each skill, SKIM creates different numbers of soft tokens that not only improve the efficiency of LLM inference, but also preserve the effectiveness of skill usage. Experiments indicate that SKIM compresses skills to 30 to 60 percent of their original token length while preserving task performance better than existing compression methods.We have released our code at https://github.com/bebr2/SKIM .