RELIC: Evaluating Compositional Instruction Following via Language Recognition

📄 arXiv: 2506.05205v1 📥 PDF

作者: Jackson Petty, Michael Y. Hu, Wentao Wang, Shauli Ravfogel, William Merrill, Tal Linzen

分类: cs.CL

发布日期: 2025-06-05

💡 一句话要点

提出RELIC框架以评估语言识别中的指令遵循能力

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 语言模型 指令遵循 语言识别 语法评估 自然语言处理 深度学习

📋 核心要点

  1. 现有方法在评估大型语言模型的指令遵循能力时，往往缺乏对复杂语法的考量，导致评估结果不够全面。
  2. RELIC框架通过语言识别任务，要求模型判断字符串是否符合正式语法，从而更全面地评估其指令遵循能力。
  3. 实验结果表明，模型的准确性与语法复杂性和示例字符串的特征密切相关，且在复杂任务上表现接近随机水平。

📝 摘要（中文）

大型语言模型（LLMs）越来越被期望仅通过上下文中提供的任务规范来执行任务，而无需示例输入和输出，这种能力称为指令遵循。本文提出了上下文中的语言识别框架RELIC，用于评估指令遵循能力：即判断字符串是否由正式语法生成。与许多标准评估方法不同，该任务需要从上下文中组合大量指令（语法生成）。由于语言是合成的，任务复杂性可以随着LLMs技能的提高而增加，并且可以自动生成新实例，从而减轻数据污染。我们对最先进的LLMs进行了RELIC评估，发现其准确性可以可靠地预测，且即使是当前最先进的LLMs在更复杂的语法和样本上表现接近随机，符合理论预期。我们还利用RELIC诊断LLMs如何尝试解决越来越困难的推理任务，发现随着语言识别任务复杂性的增加，模型转向依赖浅层启发式，而不是遵循复杂指令。

🔬 方法详解

问题定义：本文旨在解决如何有效评估大型语言模型在指令遵循任务中的能力，现有方法未能充分考虑复杂语法的影响，导致评估结果的局限性。

核心思路：RELIC框架通过语言识别任务，要求模型判断输入字符串是否由特定的正式语法生成，从而提供一种新的评估方式，能够动态调整任务复杂性。

技术框架：RELIC的整体架构包括语法生成模块、语言识别模块和评估模块。语法生成模块负责生成合成语言，语言识别模块用于判断字符串的生成来源，评估模块则分析模型的表现。

关键创新：RELIC的主要创新在于将语言识别与指令遵循评估结合起来，允许通过合成语言的复杂性来动态调整评估难度，与传统方法相比，提供了更具挑战性的评估环境。

关键设计：在设计中，采用了多种语法生成策略，以确保生成语言的多样性和复杂性，同时设置了适应性评估标准，以便根据模型的表现调整任务难度。实验中使用了多种损失函数来优化模型的语言识别能力。

📊 实验亮点

实验结果显示，当前最先进的LLMs在复杂语法和样本上的表现接近随机，准确性与语法复杂性密切相关。这一发现验证了RELIC框架的有效性，并为未来的模型改进提供了方向。

🎯 应用场景

RELIC框架的潜在应用领域包括自然语言处理、教育技术以及人机交互等。通过更准确地评估语言模型的指令遵循能力，研究者和开发者可以更好地理解和改进模型的性能，推动智能助手和自动化系统的进步。

📄 摘要（原文）

Large language models (LLMs) are increasingly expected to perform tasks based only on a specification of the task provided in context, without examples of inputs and outputs; this ability is referred to as instruction following. We introduce the Recognition of Languages In-Context (RELIC) framework to evaluate instruction following using language recognition: the task of determining if a string is generated by formal grammar. Unlike many standard evaluations of LLMs' ability to use their context, this task requires composing together a large number of instructions (grammar productions) retrieved from the context. Because the languages are synthetic, the task can be increased in complexity as LLMs' skills improve, and new instances can be automatically generated, mitigating data contamination. We evaluate state-of-the-art LLMs on RELIC and find that their accuracy can be reliably predicted from the complexity of the grammar and the individual example strings, and that even the most advanced LLMs currently available show near-chance performance on more complex grammars and samples, in line with theoretical expectations. We also use RELIC to diagnose how LLMs attempt to solve increasingly difficult reasoning tasks, finding that as the complexity of the language recognition task increases, models switch to relying on shallow heuristics instead of following complex instructions.