IFHierBench: Hierarchical Instruction Following for Large Language Models
作者: Yuetian Mao, Chunyang Chen
分类: cs.AI, cs.CL
发布日期: 2026-07-30
💡 一句话要点
提出IFHierBench以解决层次化指令遵循问题
🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)
关键词: 指令遵循 层次化约束 大型语言模型 基准测试 模型评估
📋 核心要点
- 现有的指令遵循基准无法针对输出的特定部分进行约束检查，导致模型在复杂任务中的表现不佳。
- 本文提出IFHierBench，通过层次化的约束树结构来评估模型在遵循指令时的能力，提供更细致的检查机制。
- 实验结果显示，当前最强模型的提示级准确率仅略超过50%，且在约束深度增加时准确率显著下降，揭示了模型的不足。
📝 摘要（中文）
指令遵循能力对于大型语言模型在实际应用中的部署至关重要，现有基准测试将约束集视为统一的平面列表，无法针对输出的特定部分进行检查。本文提出IFHierBench，这是一个包含600个提示的层次化指令遵循基准，涵盖四个约束树深度和35种不同约束，每个提示都配有确定性检查器以验证每个范围的满足情况。对七个领先的模型进行评估发现，即使是最强的模型，其提示级准确率也仅略超过50%，且随着约束深度的增加，准确率急剧下降。这表明当前的LLM在遵循嵌套约束方面仍存在显著差距，激励未来的训练方法在更细粒度上考虑约束遵循以提高指令遵循能力。
🔬 方法详解
问题定义：本文旨在解决现有指令遵循基准无法针对特定输出部分进行约束检查的问题。当前方法将约束视为统一的平面列表，难以评估复杂任务中的指令遵循能力。
核心思路：IFHierBench通过引入层次化的约束树结构，使得每个提示可以在不同的层次上进行约束检查，从而提高模型在复杂指令下的遵循能力。
技术框架：该框架包括600个提示，分为四个约束树深度和35种不同约束。每个提示都配有一个确定性检查器，能够在每个层次上验证约束的满足情况。
关键创新：IFHierBench的主要创新在于其层次化的约束结构，允许对输出的不同部分进行独立检查，这与现有方法的平面约束检查方式形成鲜明对比。
关键设计：在设计中，约束树的深度和类型是关键参数，检查器的设计确保了对每个层次的准确验证，提升了整体评估的细致度和可靠性。
🖼️ 关键图片
📊 实验亮点
实验结果表明，七个评估模型的提示级准确率最高仅为50%，且随着约束深度的增加，准确率显著下降。这一发现强调了当前大型语言模型在遵循嵌套约束方面的不足，为未来的研究指明了方向。
🎯 应用场景
IFHierBench的研究成果可广泛应用于需要复杂指令遵循的领域，如智能助手、自动化客服和机器人控制等。通过提高模型在复杂任务中的表现，能够增强用户体验和系统的实用性，推动相关技术的进一步发展。
📄 摘要（原文）
Instruction-following ability is critical for deploying large language models in real-world applications, where downstream components depend on the output satisfying specific constraints. Modern deployments increasingly handle the full task in a single LLM call, with one prompt specifying a layered output whose overall artifact, structural sections, and nested fields must each satisfy concrete constraints. Existing instruction-following benchmarks treat the constraint set as a flat list applied uniformly to the response, so they cannot scope a check to a particular section of the output. We introduce IFHierBench, a hierarchical instruction-following benchmark of 600 prompts stratified across four constraint-tree depths and 35 distinct constraints, each prompt paired with a deterministic checker that verifies satisfaction at every scope. Evaluating seven leading proprietary and open-weight models, we find that even the strongest model only marginally exceeds 50% prompt-level accuracy and that accuracy degrades sharply as constraint depth grows. Reliably following nested constraints remains a substantial gap for current LLMs, motivating future training methods that consider constraint adherence at finer granularity to achieve better instruction-following ability.