InFoBench: Evaluating Instruction Following Ability in Large Language Models

📄 arXiv: 2401.03601v1 📥 PDF

作者: Yiwei Qin, Kaiqiang Song, Yebowen Hu, Wenlin Yao, Sangwoo Cho, Xiaoyang Wang, Xuansheng Wu, Fei Liu, Pengfei Liu, Dong Yu

分类: cs.CL, cs.AI

发布日期: 2024-01-07

💡 一句话要点

提出DRFR指标以评估大语言模型的指令遵循能力

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 大语言模型 指令遵循 评估指标 DRFR InFoBench 自然语言处理 机器学习

📋 核心要点

  1. 现有评估方法在复杂指令遵循能力的分析上存在不足，难以全面反映LLMs的性能。
  2. 本文提出的DRFR指标通过分解复杂指令为简单标准，提供了更细致的合规性分析。
  3. 实验结果显示，DRFR在评估可靠性上优于传统方法，且GPT-4作为注释者的使用效果显著。

📝 摘要（中文）

本文介绍了一种新的评估大语言模型（LLMs）指令遵循能力的指标——分解需求遵循比率（DRFR）。该指标通过将复杂指令分解为更简单的标准，填补了现有方法的空白，便于对LLMs在任务各个方面的合规性进行详细分析。同时，本文还提出了InFoBench基准，包括500条多样化指令和2250个分解问题，涵盖多个约束类别。实验结果表明，DRFR在可靠性上优于传统评分方法，并且使用GPT-4作为成本效益高的注释者效果显著。对多个先进LLMs的评估揭示了它们的优势和改进空间，尤其是在复杂指令遵循方面。该研究为未来LLM的发展和评估提供了新的指标和基准。

🔬 方法详解

问题定义：本文旨在解决现有评估大语言模型指令遵循能力的方法不足，特别是在复杂指令的分析上，传统方法往往无法全面反映模型的实际表现。

核心思路：论文提出的DRFR指标通过将复杂指令分解为更简单的标准，使得对模型遵循指令的能力进行更细致的分析成为可能。这种设计旨在提高评估的准确性和可靠性。

技术框架：整体架构包括DRFR指标的计算和InFoBench基准的构建。InFoBench包含500条多样化指令和2250个分解问题，涵盖多个约束类别，便于全面评估模型性能。

关键创新：最重要的创新点在于提出了DRFR这一新指标，能够更有效地评估模型在复杂指令遵循方面的能力，与现有方法相比，提供了更细致的分析视角。

关键设计：在实验中，使用了多种注释来源，包括人类专家、众包工人和GPT-4，确保了数据的多样性和可靠性。通过对比实验，验证了DRFR的有效性和GPT-4作为注释者的成本效益。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果表明，DRFR在评估大语言模型的指令遵循能力时，可靠性显著高于传统评分方法。此外，使用GPT-4作为注释者的实验显示，其成本效益显著，能够有效提升注释质量，推动模型评估的进步。

🎯 应用场景

该研究的潜在应用领域包括自然语言处理、智能助手和教育技术等。通过提供更准确的评估指标，研究成果能够帮助开发者优化大语言模型的指令遵循能力，从而提升用户体验和模型的实际应用效果。未来，DRFR和InFoBench的应用可能推动更高效的模型训练和评估方法的发展。

📄 摘要（原文）

This paper introduces the Decomposed Requirements Following Ratio (DRFR), a new metric for evaluating Large Language Models' (LLMs) ability to follow instructions. Addressing a gap in current methodologies, DRFR breaks down complex instructions into simpler criteria, facilitating a detailed analysis of LLMs' compliance with various aspects of tasks. Alongside this metric, we present InFoBench, a benchmark comprising 500 diverse instructions and 2,250 decomposed questions across multiple constraint categories. Our experiments compare DRFR with traditional scoring methods and explore annotation sources, including human experts, crowd-sourced workers, and GPT-4. The findings demonstrate DRFR's higher reliability and the effectiveness of using GPT-4 as a cost-efficient annotator. The evaluation of several advanced LLMs using this framework reveals their strengths and areas needing improvement, particularly in complex instruction-following. This study contributes a novel metric and benchmark, offering insights for future LLM development and evaluation.