LIA: Supervised Fine-Tuning of Large Language Models for Automatic Issue Assignment

📄 arXiv: 2601.01780v1 📥 PDF

作者: Arsham Khosravani, Alireza Hosseinpour, Arshia Akhavan, Mehdi Keshani, Abbas Heydarnoori

分类: cs.SE, cs.AI

发布日期: 2026-01-05

💡 一句话要点

LIA：通过监督式微调大型语言模型实现自动问题分配

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 问题分配 大型语言模型 监督式微调 软件维护 自然语言处理

📋 核心要点

  1. 现有问题分配方法依赖大量项目数据，且关系信息稀疏，导致效果受限。
  2. LIA通过监督式微调LLM，利用其语义理解能力，直接从问题描述生成开发人员推荐。
  3. 实验表明，LIA在Hit@1指标上显著优于基线模型，提升高达211.2%。

📝 摘要（中文）

问题分配是软件维护中的一个关键过程，它涉及验证新的问题报告并将其分配给合适的开发人员。然而，手动问题分配通常不一致且容易出错，尤其是在大型开源项目中，每月都会报告成千上万个新问题。现有的自动化方法显示出希望，但许多方法严重依赖于大量的项目特定训练数据或关系信息，而这些信息通常是稀疏且嘈杂的，这限制了它们的有效性。为了应对这些挑战，我们提出了LIA（基于LLM的问题分配），它采用监督式微调来调整LLM，本文中使用的是DeepSeek-R1-Distill-Llama-8B，用于自动问题分配。通过利用LLM预训练的对自然语言和软件相关文本的语义理解，LIA学习直接从问题标题和描述中生成排名的开发人员推荐。该排名基于模型学习到的对历史问题到开发人员分配的理解，使用过去任务的模式来推断哪些开发人员最有可能处理新问题。通过全面的评估，我们表明LIA比其基础预训练模型和最先进的基线都有了显着改进。与DeepSeek-R1-Distill-Llama-8B预训练基础模型相比，它实现了高达+187.8%的Hit@1提升，并且在Hit@1得分方面，比四种领先的问题分配方法高出+211.2%。这些结果突出了领域自适应LLM在软件维护任务中的有效性，并将LIA确立为一种实用、高性能的问题分配解决方案。

🔬 方法详解

问题定义：论文旨在解决软件维护中手动问题分配效率低、易出错的问题。现有自动化方法依赖大量项目特定数据，且项目关系信息稀疏噪声大，限制了其在实际场景中的应用效果。

核心思路：论文的核心思路是利用大型语言模型（LLM）强大的语义理解能力，通过监督式微调，使LLM能够直接从问题描述中学习并预测合适的开发人员。这种方法避免了对大量项目特定数据的依赖，并能有效利用LLM的通用知识。

技术框架：LIA的技术框架主要包含以下几个阶段：1）选择预训练的LLM作为基础模型（DeepSeek-R1-Distill-Llama-8B）；2）构建问题-开发人员分配的历史数据集；3）使用历史数据集对LLM进行监督式微调，使其学习问题描述与开发人员之间的关联；4）对于新的问题，利用微调后的LLM生成开发人员推荐列表，并根据模型预测的概率进行排序。

关键创新：LIA的关键创新在于将大型语言模型应用于问题分配任务，并采用监督式微调的方式进行领域自适应。与传统方法相比，LIA无需手动提取特征或构建复杂的规则，而是直接利用LLM的语义理解能力进行预测。

关键设计：LIA的关键设计包括：1）选择合适的预训练LLM，该模型需要具备较强的自然语言理解能力和一定的软件工程知识；2）构建高质量的训练数据集，确保数据集中包含足够的问题描述和对应的开发人员信息；3）采用合适的损失函数进行微调，例如交叉熵损失函数，以优化模型对开发人员的预测能力；4）使用Hit@K等指标评估模型的性能，并根据评估结果调整模型的参数。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

LIA在问题分配任务上取得了显著的性能提升。与DeepSeek-R1-Distill-Llama-8B基础模型相比，LIA的Hit@1指标提升了高达187.8%。此外，LIA在Hit@1指标上优于四种领先的问题分配方法，最高提升幅度达到211.2%。这些结果表明，LIA是一种实用且高性能的问题分配解决方案。

🎯 应用场景

LIA可应用于各种规模的软件开发项目，特别是大型开源项目，以提高问题分配的效率和准确性。通过自动将问题分配给合适的开发人员，LIA可以缩短问题解决周期，提高开发人员的工作效率，并最终提升软件质量。该研究还为其他软件维护任务提供了借鉴，例如代码审查分配、缺陷预测等。

📄 摘要（原文）

Issue assignment is a critical process in software maintenance, where new issue reports are validated and assigned to suitable developers. However, manual issue assignment is often inconsistent and error-prone, especially in large open-source projects where thousands of new issues are reported monthly. Existing automated approaches have shown promise, but many rely heavily on large volumes of project-specific training data or relational information that is often sparse and noisy, which limits their effectiveness. To address these challenges, we propose LIA (LLM-based Issue Assignment), which employs supervised fine-tuning to adapt an LLM, DeepSeek-R1-Distill-Llama-8B in this work, for automatic issue assignment. By leveraging the LLM's pretrained semantic understanding of natural language and software-related text, LIA learns to generate ranked developer recommendations directly from issue titles and descriptions. The ranking is based on the model's learned understanding of historical issue-to-developer assignments, using patterns from past tasks to infer which developers are most likely to handle new issues. Through comprehensive evaluation, we show that LIA delivers substantial improvements over both its base pretrained model and state-of-the-art baselines. It achieves up to +187.8% higher Hit@1 compared to the DeepSeek-R1-Distill-Llama-8B pretrained base model, and outperforms four leading issue assignment methods by as much as +211.2% in Hit@1 score. These results highlight the effectiveness of domain-adapted LLMs for software maintenance tasks and establish LIA as a practical, high-performing solution for issue assignment.