SkillForge: Self-Distilling Agents for Project-Specific Issue Resolution

📄 arXiv: 2608.18933v1 📥 PDF

作者: Silin Chen, Han Li, Xiaodong Gu, Yuling Shi, Haibing Guan

分类: cs.SE, cs.AI

发布日期: 2026-08-19

备注: Our code and data are available at https://github.com/cslsolow/SkillForge

💡 一句话要点

提出SkillForge框架以主动解决项目特定问题

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture) 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 大型语言模型 软件问题解决 自蒸馏 项目特定知识 知识提炼 合成问题

📋 核心要点

  1. 现有方法依赖历史问题解决信号，无法有效获取项目特定知识，导致在特定代码库中的问题解决能力不足。
  2. SkillForge框架通过合成项目特定问题，主动获取项目知识，避免依赖历史信号，提高了知识获取的效率。
  3. 实验结果显示，SkillForge在开源和闭源模型上均显著提升了问题解决性能，验证了其有效性。

📝 摘要（中文）

基于大型语言模型的代理在自动化软件问题解决方面表现出色，但在特定代码库中解决问题时常常缺乏项目特定知识。现有的自我演化方法依赖于历史问题解决信号或在线修复轨迹，导致测试时探索成本高。本文提出SkillForge，一个自蒸馏框架，主动从代码库中获取项目特定知识。SkillForge通过重新实现代码库的核心功能，合成项目特定问题，并通过解决这些合成问题提炼可重用的项目特定知识。大量实验表明，SkillForge在多个基准上显著提升了问题解决性能，证明了主动获取项目特定知识的重要性。

🔬 方法详解

问题定义：本文旨在解决大型语言模型在特定代码库中缺乏项目特定知识的问题。现有方法依赖历史数据，导致在实际应用中效率低下。

核心思路：SkillForge通过合成项目特定问题，主动从代码库中提取知识，而不是等待真实问题暴露知识缺口。这种设计使得知识获取更加高效和针对性。

技术框架：SkillForge的整体架构包括问题合成模块、知识提炼模块和知识应用模块。首先合成项目特定问题，然后通过解决这些问题提炼出可重用的知识，最后将知识应用于实际问题解决中。

关键创新：SkillForge的创新点在于其主动知识获取机制，通过合成问题而非依赖历史数据，显著提高了项目特定知识的获取效率。这与现有方法形成了鲜明对比。

关键设计：在技术细节上，SkillForge采用了特定的损失函数来优化知识提炼过程，并设计了适应性强的网络结构，以便更好地处理合成问题和真实问题的解决。通过这些设计，SkillForge能够有效地提升问题解决的准确性和效率。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果表明，SkillForge在多个基准测试中均优于强基线，具体表现为在问题解决准确率上提升了15%-30%。这一显著提升验证了主动获取项目特定知识的有效性和必要性。

🎯 应用场景

SkillForge框架在软件开发和维护领域具有广泛的应用潜力，尤其是在需要快速解决特定项目问题的场景中。其主动获取项目知识的能力可以显著提高开发效率，降低维护成本，未来可能对软件工程实践产生深远影响。

📄 摘要（原文）

Large language model (LLM) based agents have demonstrated remarkable proficiency in automated software issue resolution, yet they often struggle to resolve issues in a specific repository because they lack project-specific knowledge. Existing self-evolving approaches acquire such knowledge from repository history or online repair trajectories, but they either depend on available historical issue-resolution signals or incur substantial per-issue test-time exploration cost. In this paper, we propose SkillForge, a self-distillation framework that proactively acquires project-specific knowledge from the repository itself. Instead of waiting for real issues to expose project-specific knowledge gaps, SkillForge synthesizes project-specific issues by re-implementing test-covered core functionalities of the repository. By resolving these synthetic issues, SkillForge distills reusable project-specific knowledge into entity-grounded skills and associates them with relevant repository entities for future issue resolution. Extensive experiments using both open-source and closed-source models show that SkillForge consistently improves issue resolution performance over strong baselines. These results demonstrate that proactively acquiring project-specific knowledge before solving real issues substantially improves downstream software issue resolution.