"My Answer is C": First-Token Probabilities Do Not Match Text Answers in Instruction-Tuned Language Models
作者: Xinpeng Wang, Bolei Ma, Chengzhi Hu, Leon Weber-Genzel, Paul Röttger, Frauke Kreuter, Dirk Hovy, Barbara Plank
分类: cs.CL
发布日期: 2024-02-22 (更新: 2024-07-04)
备注: ACL 2024 Findings
💡 一句话要点
揭示语言模型首个令牌概率与文本答案不匹配的问题
🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)
关键词: 语言模型 评估方法 多项选择题 自回归模型 文本输出 对话系统 鲁棒性分析
📋 核心要点
- 现有的多项选择题评估方法无法准确反映语言模型的真实输出，尤其是在多样化响应风格的情况下。
- 论文通过评估首个令牌与最终文本输出之间的对齐程度，提出了对现有评估方法的质疑。
- 实验结果显示，首个令牌评估与文本输出在多个维度上存在超过60%的错配，尤其是对话微调模型影响显著。
📝 摘要（中文）
语言生成的开放性使得自回归大型语言模型（LLMs）的评估变得具有挑战性。常用的评估方法是通过多项选择题（MCQ）来限制响应空间，并通过首个令牌的对数概率对候选答案进行排名。然而，首个令牌可能并不总是反映最终的响应输出，尤其是在模型的多样化响应风格下。我们评估了首个令牌评估与文本输出之间的对齐程度，结果显示在多个维度上，两者之间存在严重的不一致，错配率超过60%。特别是，经过大量对话或安全数据微调的模型受到的影响更大。我们的研究强调了检查文本输出的重要性，并警示不要仅依赖首个令牌评估。
🔬 方法详解
问题定义：本论文旨在解决语言模型在多项选择题评估中首个令牌概率与最终文本答案不匹配的问题。现有方法依赖于首个令牌的对数概率来评估模型性能，但这种方法未能准确反映模型的真实输出，导致评估结果的可靠性降低。
核心思路：论文的核心思路是通过对比首个令牌的评估与最终文本输出之间的对齐程度，揭示现有评估方法的局限性。通过多维度的分析，强调了文本输出的重要性，建议在评估时应综合考虑多种因素。
技术框架：整体架构包括多个评估维度，如最终选项选择、拒绝率、选择分布和在提示扰动下的鲁棒性。通过这些维度的综合评估，分析首个令牌与文本输出之间的关系。
关键创新：最重要的技术创新在于提出了一种新的评估框架，强调了文本输出的重要性，并揭示了首个令牌评估与真实输出之间的严重不一致。这一发现为语言模型的评估提供了新的视角。
关键设计：在实验中，研究者对模型进行了多种提示约束，观察其对评估结果的影响，发现即使在强约束下，模型的输出仍然与首个令牌评估存在显著差异。
🖼️ 关键图片
📊 实验亮点
实验结果显示，首个令牌评估与文本输出在多个维度上存在超过60%的错配率，尤其是对话微调模型受到的影响更为显著。这一发现强调了在评估语言模型时，不能仅依赖首个令牌的概率，而应综合考虑最终输出的质量。
🎯 应用场景
该研究的潜在应用领域包括自然语言处理中的模型评估、对话系统的开发以及人机交互的优化。通过改进评估方法，可以更准确地反映模型的实际表现，从而提升用户体验和系统的可靠性。未来，研究结果可能推动更为全面的评估标准的建立，促进语言模型的进一步发展。
📄 摘要（原文）
The open-ended nature of language generation makes the evaluation of autoregressive large language models (LLMs) challenging. One common evaluation approach uses multiple-choice questions (MCQ) to limit the response space. The model is then evaluated by ranking the candidate answers by the log probability of the first token prediction. However, first-tokens may not consistently reflect the final response output, due to model's diverse response styles such as starting with "Sure" or refusing to answer. Consequently, MCQ evaluation is not indicative of model behaviour when interacting with users. But by how much? We evaluate how aligned first-token evaluation is with the text output along several dimensions, namely final option choice, refusal rate, choice distribution and robustness under prompt perturbation. Our results show that the two approaches are severely misaligned on all dimensions, reaching mismatch rates over 60%. Models heavily fine-tuned on conversational or safety data are especially impacted. Crucially, models remain misaligned even when we increasingly constrain prompts, i.e., force them to start with an option letter or example template. Our findings i) underscore the importance of inspecting the text output as well and ii) caution against relying solely on first-token evaluation.