The Larger the Better? Improved LLM Code-Generation via Budget Reallocation

📄 arXiv: 2404.00725v2 📥 PDF

作者: Michael Hassid, Tal Remez, Jonas Gehring, Roy Schwartz, Yossi Adi

分类: cs.SE, cs.AI, cs.CL, cs.LG

发布日期: 2024-03-31 (更新: 2024-07-25)

备注: COLM 2024

💡 一句话要点

通过预算重分配提升代码生成LLM性能

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 代码生成 大型语言模型 小型模型 性能提升 预算重分配 单元测试 模型选择

📋 核心要点

  1. 现有研究普遍认为大型语言模型在性能上优于小型模型，但其计算和时间成本显著更高。
  2. 本文提出在相同预算下，通过比较不同规模模型的输出，分析小型模型的重复使用效果。
  3. 实验结果显示，使用小型模型的重复输出在多个任务上可提升性能，而在缺乏单元测试时则不如大型模型的单次输出。

📝 摘要（中文）

人们普遍认为大型语言模型（LLMs）优于小型模型，但大型模型在推理时需要更多的时间和计算资源。本文探讨在相同预算下，如何比较不同规模的代码生成LLMs的表现。研究发现，重复使用小型模型在五个任务上可以实现高达15%的性能提升，而在缺乏单元测试的情况下，小型模型的候选输出排名选择未能超越大型模型的单次输出。结果强调了小型模型的潜力及对LLM输出排名方法的研究重要性。

🔬 方法详解

问题定义：本文旨在解决在相同预算下，如何有效比较不同规模的代码生成LLMs的性能。现有方法往往忽视了小型模型在特定条件下的潜力，导致对其能力的低估。

核心思路：论文提出通过分析小型模型的多次输出与大型模型的单次输出进行比较，探索在预算限制下的最佳使用策略。此方法旨在揭示小型模型在特定任务中的优势。

技术框架：研究采用标准单元测试设置来评估模型输出的正确性，比较70B模型与13B模型的表现。主要模块包括模型选择、输出生成和结果评估。

关键创新：最重要的创新在于提出了在相同预算下，重复使用小型模型的有效性，挑战了传统对大型模型的偏见。与现有方法相比，强调了小型模型在特定场景下的潜力。

关键设计：在实验中，设置了不同的预算限制，采用了标准化的单元测试作为评估标准，确保了结果的可比性和可靠性。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果显示，重复使用小型模型在五个任务上可实现高达15%的性能提升，而在缺乏单元测试的情况下，小型模型的候选输出排名选择未能超越大型模型的单次输出。这一发现为模型选择策略提供了新的视角。

🎯 应用场景

该研究的潜在应用领域包括软件开发、自动化测试和智能编程助手等。通过优化模型选择策略，可以在资源受限的环境中实现更高效的代码生成，提升开发效率和代码质量，具有重要的实际价值和未来影响。

📄 摘要（原文）

It is a common belief that large language models (LLMs) are better than smaller-sized ones. However, larger models also require significantly more time and compute during inference. This begs the question: what happens when both models operate under the same budget? (e.g., compute, run-time). To address this question, we analyze code generation LLMs of various sizes and make comparisons such as running a 70B model once vs. generating five outputs from a 13B model. We consider a standard unit-test setup, which can be used to select the correct output from the smaller model. Our findings reveal that the repeated use of smaller models can yield consistent improvements, with gains of up to 15% across five tasks. On the other hand, in scenarios where unit-tests are unavailable, a ranking-based selection of candidates from the smaller model falls short of the performance of a single output from larger ones. Our results highlight the potential of using smaller models instead of larger ones, and the importance of studying approaches for ranking LLM outputs.