Benchmarking Large Language Models on Controllable Generation under Diversified Instructions

📄 arXiv: 2401.00690v1 📥 PDF

作者: Yihan Chen, Benfeng Xu, Quan Wang, Yi Liu, Zhendong Mao

分类: cs.CL

发布日期: 2024-01-01

备注: Accepted to AAAI 2024

🔗 代码/项目: GITHUB

💡 一句话要点

提出CoDI-Eval基准以评估大语言模型的可控生成能力

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 大语言模型 可控生成 指令遵循 评估基准 自然语言处理 智能助手

📋 核心要点

  1. 现有大型语言模型在遵循包含明确约束的指令时能力不足，缺乏系统性的评估标准。
  2. 提出CoDI-Eval基准，通过构建约束属性指令的测试套件，系统评估LLMs对多样化指令的响应能力。
  3. 对多种代表性LLMs进行评估，发现它们在特定约束指令下的响应存在显著局限，尤其是开源与闭源模型之间的差距。

📝 摘要（中文）

尽管大型语言模型（LLMs）在遵循指令方面表现出色，但它们在响应包含明确约束的指令时的能力仍不明确。为了解决这一空白，本文提出了新的基准CoDI-Eval，系统性地评估LLMs对各种约束指令的响应。我们构建了一个包含多种约束属性指令的大型测试套件，倡导指令多样化过程，并自动化整个评估过程。通过对代表性LLMs（如ChatGPT、Vicuna）的广泛评估，揭示了它们在遵循特定约束指令时的局限性，并指出开源和商业闭源LLMs之间仍存在显著差距。我们相信该基准将促进LLMs响应指令可控性的研究。

🔬 方法详解

问题定义：本文旨在解决大型语言模型在遵循包含明确约束的指令时的能力不足问题。现有方法缺乏系统性评估，无法全面了解LLMs在特定约束下的表现。

核心思路：提出CoDI-Eval基准，通过构建多样化的约束属性指令，系统性地评估LLMs的响应能力。该方法强调指令多样化和细化任务分类，以更好地捕捉模型的表现。

技术框架：整体架构包括指令多样化生成、约束属性指令构建和自动化评估三个主要模块。首先，通过多样化过程生成不同形式的约束指令；其次，构建测试套件以确保广泛覆盖；最后，自动化评估流程以提高效率。

关键创新：CoDI-Eval首次将可控文本生成的评估范围扩展到普遍的指令遵循范式，填补了现有研究的空白。

关键设计：在参数设置上，强调了约束表达的多样性和任务分类的细致化，确保评估的全面性和准确性。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果显示，代表性LLMs在遵循特定约束指令时存在显著局限性，尤其是开源模型与商业闭源模型之间的性能差距达到20%以上。这一发现为未来的模型改进提供了重要的研究方向。

🎯 应用场景

该研究的潜在应用领域包括自然语言处理、对话系统和智能助手等。通过提升LLMs对指令的可控性，能够在实际应用中更好地满足用户需求，增强交互体验，推动智能系统的进一步发展。

📄 摘要（原文）

While large language models (LLMs) have exhibited impressive instruction-following capabilities, it is still unclear whether and to what extent they can respond to explicit constraints that might be entailed in various instructions. As a significant aspect of LLM alignment, it is thus important to formulate such a specialized set of instructions as well as investigate the resulting behavior of LLMs. To address this vacancy, we propose a new benchmark CoDI-Eval to systematically and comprehensively evaluate LLMs' responses to instructions with various constraints. We construct a large collection of constraints-attributed instructions as a test suite focused on both generalization and coverage. Specifically, we advocate an instruction diversification process to synthesize diverse forms of constraint expression and also deliberate the candidate task taxonomy with even finer-grained sub-categories. Finally, we automate the entire evaluation process to facilitate further developments. Different from existing studies on controllable text generation, CoDI-Eval extends the scope to the prevalent instruction-following paradigm for the first time. We provide extensive evaluations of representative LLMs (e.g., ChatGPT, Vicuna) on CoDI-Eval, revealing their limitations in following instructions with specific constraints and there is still a significant gap between open-source and commercial closed-source LLMs. We believe this benchmark will facilitate research into improving the controllability of LLMs' responses to instructions. Our data and code are available at https://github.com/Xt-cyh/CoDI-Eval.