Adaptive Multi-Resolution Procedural Knowledge Compression for Large Language Models

📄 arXiv: 2606.12203v1 📥 PDF

作者: Changyue Wang, Weihang Su, Qingyao Ai, Yichen Tang, Runzhong Qiao, Xuancheng Li, Min Zhang, Yiqun Liu

分类: cs.CL

发布日期: 2026-06-10

🔗 代码/项目: GITHUB

💡 一句话要点

提出SKIM框架以解决大语言模型中的技能压缩问题

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 大语言模型 技能压缩 程序性知识 软令牌 自适应压缩 多分辨率

📋 核心要点

  1. 现有技能压缩方法无法有效处理程序性知识，导致预填充成本和延迟增加。
  2. SKIM框架通过自适应多分辨率软令牌压缩，针对不同复杂度的技能生成不同数量的软令牌。
  3. 实验结果显示，SKIM在保持任务性能的同时，能够将技能压缩至原始长度的30%至60%。

📝 摘要（中文）

大语言模型（LLMs）广泛应用于复杂任务的自主工作流中。可重用的自然语言技能作为一种新兴范式，能够将程序性知识注入LLM应用中。然而，重复调用这些技能会显著增加预填充成本和延迟。现有的文本压缩技术主要针对文档中的事实知识，而非程序性知识，导致其在技能压缩方面的不足。本文提出了一种名为SKIM（技能压缩）的自适应多分辨率软令牌压缩框架，旨在提高LLM推理效率，同时保持技能使用的有效性。实验表明，SKIM能够将技能压缩至原始令牌长度的30%至60%，并在任务性能上优于现有压缩方法。

🔬 方法详解

问题定义：本文旨在解决大语言模型中程序性知识的技能压缩问题。现有方法主要针对事实知识，无法有效压缩程序性技能，导致重复调用时的资源浪费和延迟增加。

核心思路：SKIM框架通过自适应生成不同数量的软令牌，针对技能的复杂性进行优化，从而提高推理效率并保持技能的有效性。

技术框架：SKIM的整体架构包括技能复杂度评估模块、软令牌生成模块和压缩效果评估模块。根据技能的复杂性，动态调整生成的软令牌数量。

关键创新：SKIM的主要创新在于其自适应多分辨率的设计，能够根据技能的复杂性灵活调整压缩策略，与传统的静态压缩方法形成鲜明对比。

关键设计：在参数设置上，SKIM采用了动态调整的软令牌数量，并设计了适应性损失函数，以确保压缩后的技能在性能上不逊色于原始技能。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果表明，SKIM能够将技能压缩至原始令牌长度的30%至60%，在保持任务性能方面优于现有的压缩方法。这一显著提升展示了SKIM在实际应用中的有效性和潜力。

🎯 应用场景

该研究的潜在应用领域包括智能助手、自动化工作流和教育技术等。通过有效压缩程序性知识，SKIM能够降低系统资源消耗，提高响应速度，进而提升用户体验。未来，该技术有望在更多复杂任务的自动化中发挥重要作用。

📄 摘要（原文）

Large language models (LLMs) are widely used to tackle complex tasks with autonomous workflows. Recently, reusable natural language skills have emerged as a popular paradigm to inject procedural knowledge into LLM applications. Since popular skills are often invoked repeatedly, placing their full text in every context significantly increases prefill cost and latency. While text compression techniques have the potential to solve this problem, most existing methods are designed to compress factual knowledge in documents instead of procedural knowledge, making them insufficient for skill compression. In this paper, we argue that an effective skill compression method should: 1) preserve logical dependencies among workflows and tool protocols, 2) enable lightweight, offline compression for frequently updated community skills, and 3) be adaptable to varying complexities across skills. To address this, we present SKIM (SKIll coMpression), an adaptive multi-resolution soft token compression framework for procedural skills. Depending on the complexity of each skill, SKIM creates different numbers of soft tokens that not only improve the efficiency of LLM inference, but also preserve the effectiveness of skill usage. Experiments indicate that SKIM compresses skills to 30 to 60 percent of their original token length while preserving task performance better than existing compression methods.We have released our code at https://github.com/bebr2/SKIM .