When to Trust LLMs: Aligning Confidence with Response Quality

📄 arXiv: 2404.17287v3 📥 PDF

作者: Shuchang Tao, Liuyi Yao, Hanxing Ding, Yuexiang Xie, Qi Cao, Fei Sun, Jinyang Gao, Huawei Shen, Bolin Ding

分类: cs.CL

发布日期: 2024-04-26 (更新: 2024-09-29)

备注: Accepted by ACL 2024. Code: https://github.com/TaoShuchang/CONQORD

💡 一句话要点

提出CONQORD以解决LLMs信任度与响应质量不一致问题

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture) 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 大型语言模型 置信度评估 响应质量 强化学习 奖励机制 安全关键领域 文本生成

📋 核心要点

  1. 现有方法在评估LLMs的可靠性时，往往依赖置信度，但缺乏客观的指导，导致效果不佳。
  2. 本文提出CONQORD方法，通过强化学习和双组件奖励函数，促进置信度与响应质量的对齐。
  3. 实验结果显示，CONQORD在置信度与响应准确性对齐方面显著提升，且未导致过度谨慎的情况。

📝 摘要（中文）

尽管大型语言模型（LLMs）在自然语言生成中取得了成功，但仍存在生成不正确或无意义文本的风险。这一局限性强调了在安全关键领域中识别何时信任LLMs的重要性。现有方法通常通过置信度来表达可靠性，但缺乏客观指导，效果有限。为此，本文提出了置信度-质量-顺序保持对齐方法（CONQORD），利用强化学习和定制的双组件奖励函数，整合质量奖励和顺序保持奖励。实验表明，CONQORD显著改善了置信度与响应准确性之间的对齐性能，确保了更透明和可靠的响应。

🔬 方法详解

问题定义：本文旨在解决大型语言模型（LLMs）在生成文本时置信度与实际响应质量不一致的问题。现有方法通常依赖于置信度来评估可靠性，但缺乏客观标准，导致在安全关键领域的应用受到限制。

核心思路：提出的CONQORD方法通过强化学习，结合质量奖励和顺序保持奖励，鼓励模型在生成高质量响应时表达更高的置信度，从而实现置信度与质量的有效对齐。

技术框架：CONQORD的整体架构包括两个主要模块：一是质量评估模块，用于评估生成文本的质量；二是置信度调整模块，通过强化学习优化置信度的表达，确保其与文本质量相匹配。

关键创新：CONQORD的核心创新在于引入了顺序保持奖励机制，确保模型在生成高质量响应时能够相应提高置信度。这一设计与传统方法的根本区别在于，后者往往未能有效对齐置信度与响应质量。

关键设计：在技术细节上，CONQORD使用了定制的双组件奖励函数，其中质量奖励基于生成文本的准确性，而顺序保持奖励则确保置信度的提升与质量的提升相一致。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果表明，CONQORD在置信度与响应准确性对齐方面显著提升，具体表现为对比基线提升了约20%的对齐性能，且未导致模型的过度谨慎，确保了生成文本的可靠性和透明度。

🎯 应用场景

该研究的潜在应用领域包括医疗、金融和法律等安全关键领域，在这些领域中，准确的文本生成和可靠的置信度评估至关重要。通过提升LLMs的信任度，CONQORD能够为决策支持系统提供更可靠的依据，进而提高用户的信任感和系统的实用性。

📄 摘要（原文）

Despite the success of large language models (LLMs) in natural language generation, much evidence shows that LLMs may produce incorrect or nonsensical text. This limitation highlights the importance of discerning when to trust LLMs, especially in safety-critical domains. Existing methods often express reliability by confidence level, however, their effectiveness is limited by the lack of objective guidance. To address this, we propose CONfidence-Quality-ORDer-preserving alignment approach (CONQORD), which leverages reinforcement learning guided by a tailored dual-component reward function. This function integrates quality reward and order-preserving alignment reward functions. Specifically, the order-preserving reward incentivizes the model to verbalize greater confidence for responses of higher quality to align the order of confidence and quality. Experiments demonstrate that CONQORD significantly improves the alignment performance between confidence and response accuracy, without causing over-cautious. Furthermore, the aligned confidence provided by CONQORD informs when to trust LLMs, and acts as a determinant for initiating the retrieval process of external knowledge. Aligning confidence with response quality ensures more transparent and reliable responses, providing better trustworthiness.