LEANCODE: Understanding Models Better for Code Simplification of Pre-trained Large Language Models

📄 arXiv: 2505.14759v3 📥 PDF

作者: Yan Wang, Ling Ding, Tien N Nguyen, Shaohua Wang, Yanan Zheng

分类: cs.SE, cs.LG

发布日期: 2025-05-20 (更新: 2025-06-08)

备注: Accepted to ACL 2025 main conference

💡 一句话要点

提出LeanCode以解决大规模语言模型代码简化问题

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 大规模语言模型 代码简化 上下文感知 注意力机制 代码搜索 代码摘要 模型效率

📋 核心要点

  1. 现有的大规模语言模型在处理长代码序列时计算复杂度显著增加，导致训练和预测时间延长。
  2. LeanCode通过上下文感知的注意力分数选择性移除不重要的token，从而实现代码简化，提升模型效率。
  3. 实验结果显示，LeanCode在代码搜索和代码摘要任务上分别比DietCode和Slimcode提升了60%、16%和29%、27%。

📝 摘要（中文）

大规模语言模型在处理代码时常面临显著的计算复杂度，尤其是输入代码序列长度增加时。本文提出LeanCode，通过利用代码上下文中的注意力分数来简化代码，从而减少训练和预测时间。我们主张基于上下文感知的平均注意力分数选择性地移除不重要的token，而非简单的平均分数。LeanCode在分类任务中使用编码器中的CLS token的注意力分数，在序列到序列任务中则利用编码器-解码器的注意力分数来评估token的重要性。实验结果表明，LeanCode在代码搜索和代码摘要任务上相较于现有方法DietCode和Slimcode分别提升了60%、16%和29%、27%。

🔬 方法详解

问题定义：本文旨在解决大规模语言模型在处理长代码序列时的计算复杂度问题，现有方法在处理输入时未能有效评估token的重要性，导致效率低下。

核心思路：LeanCode的核心思想是利用上下文感知的注意力分数来选择性地移除不重要的token，而不是依赖于所有输入的平均分数，从而提高模型的训练和预测效率。

技术框架：LeanCode的整体架构包括编码器和解码器两个主要模块。在编码器中，使用CLS token的注意力分数进行分类任务；在解码器中，利用编码器-解码器的注意力分数来评估token的重要性，适用于序列到序列的任务。

关键创新：LeanCode的创新在于引入上下文感知的注意力分数进行token选择，显著提升了模型在代码搜索和摘要任务中的表现，与现有方法相比具有本质的区别。

关键设计：在参数设置上，LeanCode对注意力分数的计算进行了优化，采用了特定的损失函数以增强模型对重要token的关注，同时在网络结构上进行了调整，以适应不同任务的需求。

📊 实验亮点

LeanCode在实验中表现出色，相较于现有的SOTA方法DietCode和Slimcode，在代码搜索任务上分别提升了60%和16%，在代码摘要任务上则提升了29%和27%。这些结果表明LeanCode在提升模型效率和准确性方面具有显著优势。

🎯 应用场景

LeanCode的研究成果在代码搜索、代码摘要等领域具有广泛的应用潜力。通过提高模型的效率，LeanCode能够帮助开发者更快速地获取和理解代码，从而提升软件开发的整体效率。未来，该方法还可以扩展到其他需要处理长文本的自然语言处理任务中。

📄 摘要（原文）

Large Language Models for code often entail significant computational complexity, which grows significantly with the length of the input code sequence. We propose LeanCode for code simplification to reduce training and prediction time, leveraging code contexts in utilizing attention scores to represent the tokens' importance. We advocate for the selective removal of tokens based on the average context-aware attention scores rather than average scores across all inputs. LeanCode uses the attention scores of `CLS' tokens within the encoder for classification tasks, such as code search. It also employs the encoder-decoder attention scores to determine token significance for sequence-to-sequence tasks like code summarization. Our evaluation shows LeanCode's superiority over the SOTAs DietCode and Slimcode, with improvements of 60% and 16% for code search, and 29% and 27% for code summarization, respectively.