Enabling Weak LLMs to Judge Response Reliability via Meta Ranking

📄 arXiv: 2402.12146v3 📥 PDF

作者: Zijun Liu, Boqun Kou, Peng Li, Ming Yan, Ji Zhang, Fei Huang, Yang Liu

分类: cs.CL, cs.AI, cs.LG

发布日期: 2024-02-19 (更新: 2024-05-31)

备注: Preprint, under review. 28 pages

💡 一句话要点

提出Meta Ranking方法以提升弱LLM对响应可靠性的评估能力

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 弱LLM 响应可靠性 Meta Ranking 模型级联 指令调优 错误检测 效率提升

📋 核心要点

  1. 现有的强LLM在评估响应可靠性方面表现良好，但在效率和本地部署上存在不足。
  2. 本文提出的Meta Ranking方法通过成对比较查询-响应对，提升了弱LLM的可靠性评估能力。
  3. 实验表明，弱LLM如Phi-2在错误检测中超越了GPT-3.5-turbo，且在模型级联和指令调优中表现优异。

📝 摘要（中文）

尽管大型语言模型（LLMs）在多种任务中表现出色，但其可靠性问题仍然存在。以往研究表明，强大的LLM如GPT-4-turbo在评估LLM响应的可靠性方面表现优异，但在效率和本地部署上存在挑战。为此，本文提出了一种新颖的基于交叉查询比较的方法，称为Meta Ranking（MR）。与以往仅依赖上下文学习能力的少样本方法不同，MR通过将目标查询-响应对与多个参考查询-响应对进行成对排名来评估可靠性。实验结果表明，MR在LLM响应的错误检测中表现出色，弱LLM如Phi-2在仅需五个参考样本的情况下超越了强基线如GPT-3.5-turbo，显著提高了效率。此外，MR还在模型级联和指令调优等实际应用中增强了强LLM的性能。

🔬 方法详解

问题定义：本文旨在解决弱LLM在评估响应可靠性方面的不足，现有方法主要依赖强LLM，导致效率低下和部署困难。

核心思路：提出Meta Ranking（MR）方法，通过成对比较多个查询-响应对，增强弱LLM的评估能力，避免了对强LLM的依赖。

技术框架：MR方法包括多个阶段：首先收集目标查询-响应对和参考查询-响应对，然后进行成对排名，最后输出可靠性评估结果。

关键创新：MR的核心创新在于通过交叉查询比较而非单一上下文学习，显著提升了弱LLM的评估效果，与传统方法相比具有根本性区别。

关键设计：MR方法在参数设置上仅需五个参考样本，采用特定的损失函数来优化排名效果，确保了在效率和准确性上的平衡。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果显示，Meta Ranking方法使得弱LLM如Phi-2在错误检测中超越了强基线GPT-3.5-turbo，且在模型级联中实现了与GPT-4-turbo相当的性能，显著降低了成本。此外，在指令调优中，MR使LLaMA-7B和Phi-2在训练令牌数量较少的情况下超越了Alpaca-13B，展示了其高效性。

🎯 应用场景

该研究的潜在应用领域包括智能客服、内容审核和自动化问答系统等。通过提升弱LLM的响应评估能力，能够在降低成本的同时提高系统的整体可靠性和用户体验，未来可能推动更多低资源环境下的LLM应用。

📄 摘要（原文）

Despite the strong performance of large language models (LLMs) across a wide range of tasks, they still have reliability issues. Previous studies indicate that strong LLMs like GPT-4-turbo excel in evaluating the reliability of responses from LLMs, but face efficiency and local deployment issues. Thus, to enable weak LLMs to effectively assess the reliability of LLM responses, we propose a novel cross-query-comparison-based method called $\textit{Meta Ranking}$ (MR). Unlike previous few-shot methods that solely based on in-context learning capabilities in LLMs, MR assesses reliability by pairwisely ranking the target query-response pair with multiple reference query-response pairs. We found that MR is highly effective in error detection for LLM responses, where weak LLMs, such as Phi-2, could surpass strong baselines like GPT-3.5-turbo, requiring only five reference samples and significantly improving efficiency. We further demonstrate that MR can enhance strong LLMs' performance in two practical applications: model cascading and instruction tuning. In model cascading, we combine open- and closed-source LLMs to achieve performance comparable to GPT-4-turbo with lower costs. In instruction tuning, we use MR for iterative training data filtering, significantly reducing data processing time and enabling LLaMA-7B and Phi-2 to surpass Alpaca-13B with fewer training tokens. These results underscore the high potential of MR in both efficiency and effectiveness.