LemonHarness Technical Report
作者: Kailong Ren, Fubo Sun, Jiachen Liu, Liu Yang, Zimo Yin, Jiaying Li, Congli Yin, Ming He, Yu Huo, Jiawei Liu, Zeping Chen, Yubin Huangfu, Ronghua Li, Yixuan Wu, Xing Su, Yanzhi Xu, Likang Wu, Hongke Zhao, Lei Zhang, Xiaohui Geng, Jianping Fan
分类: cs.AI
发布日期: 2026-06-23
💡 一句话要点
提出LemonHarness以解决长任务中状态追踪困难的问题
🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)
关键词: 长时间任务 状态追踪 执行框架 大型语言模型 时间感知机制 规则知识库 自动化执行
📋 核心要点
- 现有方法在长任务中难以追踪状态变化，导致文件修改等操作的管理复杂化。
- LemonHarness通过明确的工作区边界和结构化工具接口来约束状态改变操作，提升执行的可控性。
- 在Terminal-Bench 2.0上，LemonHarness_GPT-5.3-CodeX的准确率达到84.49%，与更强的GPT-5.5结合后提升至86.52%。
📝 摘要（中文）
随着大型语言模型（LLM）代理被应用于更长的任务，它们在多个迭代中逐渐修改工作区状态。然而，代理通常只能观察工具输出和日志片段，而实际状态变化发生在文件系统中。缺乏明确的工作区边界，状态改变操作如文件写入和临时工件生成可能会分散在不同路径上。随着时间的推移，这些弱约束的变化积累，使得修改文件等状态难以追踪。本文提出了LemonHarness，一个集成的长时间代理执行框架，通过在明确的工作区内约束状态改变操作，建立了明确的执行边界，并将模型调用、工具执行和规则知识整合在一个受控边界内。LemonHarness的实验结果表明，统一的运行时边界、可调用的规则知识和时间感知执行可以提高长时间代理执行的稳定性。
🔬 方法详解
问题定义：论文要解决的问题是长时间任务中状态追踪的困难，现有方法无法有效管理状态变化，导致执行不稳定和难以验证的结果。
核心思路：LemonHarness的核心思路是通过建立明确的执行边界，将状态改变操作限制在一个受控的工作区内，从而提高执行的可预测性和稳定性。
技术框架：LemonHarness的整体架构包括明确的工作区、结构化工具接口、可重用的规则知识库和时间感知执行机制，确保状态改变操作的有效管理和反馈记录。
关键创新：最重要的技术创新点在于引入了可调用的规则知识库和时间感知执行机制，这与现有方法的松散管理方式形成鲜明对比，显著提高了执行的稳定性。
关键设计：关键设计包括结构化工具接口的实现、规则知识库的构建，以及时间预算的动态管理，确保模型在执行过程中能够灵活调整探索、实施和验证的努力。
🖼️ 关键图片
📊 实验亮点
实验结果显示，LemonHarness_GPT-5.3-CodeX在445次试验中达到了84.49%的准确率，结合更强的GPT-5.5后，准确率提升至86.52%。这些结果表明，统一的运行时边界和时间感知机制显著增强了长时间代理的执行稳定性。
🎯 应用场景
该研究的潜在应用领域包括长时间任务的自动化执行，如软件开发、数据处理和复杂系统管理。通过提高状态追踪的准确性和执行的稳定性，LemonHarness能够在实际应用中显著提升工作效率和结果可靠性，未来可能对智能代理的广泛应用产生深远影响。
📄 摘要（原文）
As large language model (LLM) agents are applied to longer tasks, they increasingly modify workspace state across multiple rounds of iteration. However, agents typically observe only tool outputs and log fragments, while the actual state changes occur in the file system. Without explicit workspace boundaries, state-changing operations such as file writes and temporary artifact generation may scatter changes across paths. Over time, these weakly constrained changes accumulate, making states such as modified files difficult to track. This paper presents LemonHarness, an integrated execution framework for long-horizon agents. LemonHarness establishes an explicit execution boundary by constraining state-changing operations within a clearly defined workspace and bringing model invocation, tool execution, and rule knowledge within a single controlled boundary. State-changing operations, including file writes, dependency installation, and temporary artifact creation, are executed through structured tool interfaces, with execution feedback recorded as observations available to subsequent model decisions. The system also introduces a reusable rule knowledge base, which turns recurring execution rules and acceptance criteria into runtime knowledge. LemonHarness further adds a time-aware execution mechanism that exposes elapsed and remaining budget to the model, so it can rebalance exploration, implementation, and validation effort as time pressure shifts and avoid timeouts from long waits or excessive verification. On Terminal-Bench 2.0, LemonHarness_GPT-5.3-CodeX reached 84.49% accuracy over 445 trials; pairing the same framework with the stronger GPT-5.5 backbone raised the average accuracy to 86.52% across five jobs. The results suggest that a unified runtime boundary, callable rule knowledge, and time-aware execution can improve the stability of long-horizon agent execution.