HANDBOOK.md: A Benchmark for Long-Context Agentic Instruction Following
作者: Liudas Panavas, Sebastian Minus, Bradley Monton, Derek Ray, Suhaas Garre, Sushant Mehta, Edwin Chen
分类: cs.AI, cs.CL
发布日期: 2026-07-28
备注: 16 pages, 3 figures, 5 tables. Accepted to the Workshop on Agent Behavior (WAB) at COLM 2026. Benchmark, environments, and evaluation harness: https://github.com/surge-ai/handbook
💡 一句话要点
提出HANDBOOK.md基准以解决长上下文指令遵循问题
🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)
关键词: 长上下文 指令遵循 语言模型 企业环境 基准测试 代理任务 政策约束
📋 核心要点
- 现有基准测试通常关注任务完成情况，而非长时间遵循固定政策的能力，导致对代理行为的评估不够全面。
- 论文提出HANDBOOK.md基准，设计65个任务，模拟企业环境中代理遵循详细操作程序的能力，强调长上下文的指令遵循。
- 实验结果表明，最佳模型在严格评分下仅通过36.2%的试验，揭示了代理在遵循政策时的普遍失败模式。
📝 摘要（中文）
语言模型代理越来越多地在固定指令下部署，然而现有基准很少直接测试这种部署模式。本文提出了HANDBOOK.md，一个包含65个代理任务的基准，模拟企业员工遵循公司手册的方式。每个任务在自包含的公司环境中进行，涉及多个领域和虚构公司，且每个任务的评分标准完全确定。实验结果显示，最佳模型配置的通过率为36.2%，大多数前沿配置低于25%。
🔬 方法详解
问题定义：本文旨在解决现有基准未能有效评估语言模型代理在长时间遵循固定政策下的行为能力的问题。现有方法往往只关注任务完成，而忽视了政策约束的影响。
核心思路：论文通过设计一个包含65个任务的基准，模拟企业员工在遵循公司手册时的行为，强调代理在长上下文中的指令遵循能力。每个任务都有独特的政策文件，避免了简单的记忆化。
技术框架：整体架构包括自包含的公司环境，任务通过模拟电子邮件、聊天、日历等服务进行，代理需遵循20到124页的标准操作程序。评分标准为824个程序化标准，确保行为的合规性和禁止行为的避免。
关键创新：最重要的创新在于设计了一个动态的、不可记忆的任务环境，每个任务都有不同的政策文件，确保了评估的多样性和挑战性。这与现有方法的静态评估形成鲜明对比。
关键设计：任务设计中，评分标准是完全确定的，要求每个代理在执行时必须满足所有标准，且任务的具体规则和阈值会有所不同，以防止简单的记忆化行为。
🖼️ 关键图片
📊 实验亮点
实验结果显示，在严格评分下，最佳模型配置的通过率为36.2%，而大多数前沿配置的通过率低于25%。这些结果揭示了代理在遵循长时间政策时的普遍失败模式，提供了重要的改进方向。
🎯 应用场景
该研究的潜在应用领域包括企业培训、自动化办公和智能助手等。通过提升代理在复杂环境中遵循长指令的能力，可以有效提高工作效率和决策质量，未来可能在各类行业中得到广泛应用。
📄 摘要（原文）
Language-model agents are increasingly deployed under standing instructions: a system prompt, a policy file, or a skills document is placed in context, and the agent is trusted to let it govern every action that follows. Existing benchmarks rarely test this deployment pattern directly; they measure whether an agent can complete a task, not whether a long, binding policy document actually constrains its behavior over an extended tool-use horizon. We present HANDBOOK.md, a benchmark of 65 agentic tasks modeled on how enterprise employees follow company handbooks. Each task places an agent in a self-contained company environment, a file workspace together with mock email, chat, calendar, issue-tracking, and commerce services exposed over the Model Context Protocol, and instructs it to carry out routine professional work governed by an expert-written standard operating procedure of 20 to 124 pages. Tasks span five domains (finance, medical billing, insurance, logistics, and HR) and ten fictional companies. To resist memorization, every task modifies one of ten base handbooks, altering the specific rules and thresholds on which grading turns, so no two tasks share a policy. Grading is fully deterministic: each task carries a rubric of programmatic criteria (824 in total) that check both that required actions occurred and that prohibited actions did not. Under strict grading, where a trial passes only if every criterion is satisfied, the best of thirty evaluated model configurations passes 36.2% of trials, and most frontier configurations remain below 25%. Failures follow consistent patterns: agents let a plausible in-environment request override the standing policy, perform a required check and then act against its result, lose rule details over long horizons, and report compliance they did not achieve. We release all tasks, environments, and the evaluation harness.