Soft-Prompt Tuning for Fair and Efficient LLM Benchmark Evaluation
作者: Selen Erkan, Bastian Boll, Kristian Kersting, Björn Deiseroth, Letitia Parcalabescu
分类: cs.CL, cs.AI
发布日期: 2026-06-10
备注: 10 pages, 4 figures
💡 一句话要点
提出软提示调优以解决LLM基准评估不公问题
🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)
关键词: 大型语言模型 基准评估 软提示调优 知识准确性 模型比较 预训练策略
📋 核心要点
- 现有的基准评估方法常常低估基础模型的知识，因其依赖于特定格式的遵循能力。
- 本文提出的软提示调优方法通过优化少量参数，快速适应基准格式，确保知识的准确反映。
- 实验结果显示，软提示调优在效率和准确性上均显著优于传统的提示方法，且能更可靠地预测模型性能排名。
📝 摘要（中文）
基准得分常常误导大型语言模型（LLM）的知识评估，因为它们依赖于模型遵循特定格式的能力。这尤其对基础模型造成惩罚，尽管它们可能知道正确答案，但缺乏后期训练中引入的结构化能力。为此，本文提出了软提示调优，这是一种高效、公平且与架构无关的模型评估方法。通过优化仅10个软提示向量，适应特定基准格式，确保基础知识在基准得分中得到准确反映。实验表明，软提示调优在80步内饱和格式遵循，显著优于零-shot和少-shot提示，并且即使是后期训练的模型也能从软提示中受益。
🔬 方法详解
问题定义：本文旨在解决现有大型语言模型（LLM）基准评估中因格式遵循能力不足而导致的知识评估不准确的问题。现有方法往往低估基础模型的知识，尤其是在缺乏后期训练的情况下。
核心思路：提出软提示调优，通过优化少量的软提示向量，使模型能够快速适应特定的基准格式，从而更准确地反映其知识水平。该方法不依赖于完整的后期训练，具有高效性和公平性。
技术框架：整体流程包括：首先定义软提示向量，然后在短时间内进行优化以适应特定的基准格式，最后评估模型在基准上的表现。主要模块包括软提示生成、优化和评估。
关键创新：最重要的创新点在于通过优化极少量的参数（约0.0006%），实现了高效的格式遵循能力，显著提升了模型的基准得分准确性。与现有方法相比，软提示调优提供了一种新的评估模型知识的方式。
关键设计：在参数设置上，优化了10个软提示向量，损失函数设计为关注格式遵循与知识准确性的分离，确保模型在短时间内达到最佳性能。
🖼️ 关键图片
📊 实验亮点
实验结果表明，软提示调优在80步内即可饱和格式遵循，显著优于零-shot和少-shot提示，能够更好地揭示基础模型的知识。此外，软提示调优的性能预测比传统基线更可靠，为后期模型质量提供了低成本的代理。
🎯 应用场景
该研究的潜在应用领域包括大型语言模型的评估和比较，尤其是在不同预训练策略下的模型性能分析。通过提供一种公平的评估方法，研究可以帮助开发者更早识别最佳的预训练策略，提升模型的实际应用价值。未来，该方法可能在多种自然语言处理任务中得到广泛应用，推动模型评估的标准化进程。
📄 摘要（原文）
Benchmark scores often misrepresent a large language model's (LLM's) knowledge, because they rely, e.g., on the model's ability to follow specific formatting requirements. This especially penalizes base models that may know the correct answers but lack the ability -- typically introduced in post-training -- to structure them as instructed. To overcome this, we propose soft-prompt tuning, an efficient, fair, and architecture-agnostic model evaluation. By optimizing only 10 soft-prompt vectors (roughly 0.0006% parameters for a 7B model) over a short tuning period, we adapt models to specific benchmark formats, closing gaps in format-following and ensuring that underlying knowledge is accurately reflected in benchmark scores. This allows one to fairly compare different base models -- trained with various pre-training recipes -- on benchmarks without the need for full post-training. We evaluated soft-prompt tuning across 7 models and 7 datasets. The results show that (a) soft-prompt tuning saturates format-following within 80 steps (~640 samples) making it highly efficient, (b) soft-prompt tuning significantly outperforms zero- and few-shot prompting, surfacing base model knowledge that standard prompting misses, that (c) even post-trained models can benefit from soft-prompts to maximize format compliance, and that (d) soft-prompted base model performance predicts post-trained model rankings more reliably than zero- and few-shot baselines, offering a low-cost proxy for downstream model quality. Our contributions include (1) metrics which disentangle format-following and knowledge accuracy, (2) a fairer benchmarking protocol of LLM knowledge, and (3) a cost- and memory-effective recipe to identify optimal pre-training strategies early in LLM development.