CaSKG: Counterfactual-Causal Skill Graphs for Scalable Agent Skill Retrieval

📄 arXiv: 2608.25500v1 📥 PDF

作者: Zhiyuan Li, Linyuan Gao, Xuechun Ding, Hongwei Chen, Yuan Wu, Yi Chang

分类: cs.AI, cs.CL

发布日期: 2026-08-26

备注: 11 pages

🔗 代码/项目: GITHUB

💡 一句话要点

提出CaSKG框架以解决大语言模型技能检索问题

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 技能检索 大语言模型 反事实因果 程序知识 智能代理 图结构 任务扩展

📋 核心要点

  1. 现有的技能检索方法在处理程序知识时存在覆盖率与上下文成本之间的权衡，导致检索效果不佳。
  2. CaSKG框架通过构建高召回的有向候选图并应用反事实探针，校准程序关系以提高检索效果。
  3. 在六个LLM基础模型上，CaSKG在所有组合中均取得最高任务得分，相较于现有方法显著提升了性能。

📝 摘要（中文）

可重用的技能库使得大语言模型（LLM）代理能够在任务间重用程序知识，但也使得内存访问变成一个具有挑战性的检索问题。现有方法如全库提示、向量检索和基于图的检索各有不足。本文提出了CaSKG，一个反事实因果技能图框架，旨在在检索前校准程序关系。CaSKG首先从语义、词汇、输入/输出和结构证据构建高召回的有向候选图，并通过修复证据和可选的LLM评判进一步优化候选分数。然后，它应用方向条件的文本反事实探针，聚合证据并发布状态过滤的加权图。CaSKG在多个基准测试中表现出色，显著提高了任务得分。

🔬 方法详解

问题定义：本文旨在解决大语言模型在任务间重用程序知识时的技能检索问题。现有方法如全库提示和向量检索在覆盖率和上下文成本之间存在权衡，导致检索效果不理想。

核心思路：CaSKG框架的核心思路是通过构建高召回的有向候选图，并在检索前校准程序关系，以提高技能检索的准确性和效率。

技术框架：CaSKG的整体架构包括多个模块：首先从不同证据构建候选图，然后通过反事实探针校准边缘，最后发布状态过滤的加权图用于任务扩展。

关键创新：CaSKG的主要创新在于引入反事实因果关系的校准机制，使得技能检索能够更好地保留程序的先决条件和状态变化，显著提升了检索的可执行性和紧凑性。

关键设计：在构建候选图时，使用语义、词汇、输入/输出和结构证据，并通过修复证据和LLM评判优化候选分数；反事实探针则通过去除、替换和重排技能对来校准边缘。

🖼️ 关键图片

fig_0
img_1
img_2

📊 实验亮点

CaSKG在ALFWorld ID-140和ScienceWorld U211基准测试中表现优异，所有模型组合的任务得分均为最高。相较于Graph-of-Skills，CaSKG将ScienceWorld的六模型宏观平均得分从72.62提升至80.50，ALFWorld的成功率从80.01%提升至86.79%，同时减少了环境步骤的平均值。

🎯 应用场景

CaSKG框架在大语言模型的技能检索中具有广泛的应用潜力，能够提升智能代理在复杂任务中的表现。其方法可推广至其他需要程序知识重用的领域，如自动化决策、机器人控制和智能助手等，未来可能对智能系统的设计和优化产生深远影响。

📄 摘要（原文）

Reusable skill libraries allow large language model (LLM) agents to reuse procedural knowledge across tasks, but they also turn memory access into a challenging retrieval problem. Full-library prompting preserves coverage at high context cost, vector retrieval returns compact neighborhoods but treats skills as independent text, and graph-based retrieval can recover workflow context only when the edges that carry relevance are reliable. We propose CaSKG, a counterfactual-causal skill graph framework that calibrates procedural relations before retrieval. CaSKG first builds a high-recall directed candidate graph from semantic, lexical, input/output, and structural evidence, with repair evidence and an optional LLM judge further refining candidate scores. It then applies direction-conditioned textual counterfactual probes that remove, substitute, and reorder skill pairs, aggregates the evidence with Bayesian smoothing, and publishes a state-filtered weighted graph for task-conditioned expansion. The graph is constructed offline and used without changing the downstream agent policy or task interface. Across six LLM backbones on ALFWorld ID-140 and ScienceWorld U211, CaSKG achieves the highest task score in all twelve combinations of model and benchmark. Relative to Graph-of-Skills (GoS), it improves the six-model macro-average ScienceWorld score from 72.62 to 80.50 and ALFWorld success from 80.01\% to 86.79\%, while reducing mean environment steps on both benchmarks. Qualitative and ablation analyses further show that calibrated edges help retrieval preserve prerequisites, state-changing actions, verification routines, and final completion steps. These results position edge-confidence calibration as an effective route to compact and executable skill retrieval at scale\footnote{Code is available at: https://github.com/ZhiyuanLi218/Caskg }.