JIT-Agent: Scaling Harness Intelligence via Just-in-Time Harness Evolution

📄 arXiv: 2608.25593v1 📥 PDF

作者: Guibin Zhang, Leo Lu, Fangzhou Xie, Kang Zhu, Junhao Wang, Zhifei Xie, Zhaochen Yu, Zihang Liu, Zhongxiang Sun, Qiankun Li, Yue Liao, Heng Chang, Xiaobin Hu, Qibing Ren, Wangchunshu Zhou, Shuicheng Yan

分类: cs.CL, cs.LG

发布日期: 2026-08-26

💡 一句话要点

提出JIT-Agent以解决智能体工具设计的可扩展性问题

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 智能体工具设计 即时生成 任务自适应 自我进化 性能优化

📋 核心要点

  1. 现有智能体工具设计方法手动、任务特定，缺乏可扩展性，限制了智能体能力的提升。
  2. JIT-Agent通过即时合成任务自适应工具，自动生成、修复和自我进化，解决了工具设计的可扩展性问题。
  3. 实验结果显示，JIT-Agent生成的工具在多个基准测试中超越了GPT-5.6和GLM-5.2等强大模型，提升幅度显著。

📝 摘要（中文）

智能体的能力不仅由模型决定，智能体的工具设计（包括内存管理、规划策略、行动协议和技能协调）在很大程度上影响其性能。然而，现有的工具设计方法依然是手动、任务特定且缺乏可扩展性。本文提出了JIT-Agent，一个能够即时合成任务自适应智能体工具的模型。JIT-Agent通过一个固定的四模块协议，自动生成工具，修复工具以确保稳定执行，并通过从历史配置中提取性能信号自我进化。实验表明，JIT-Agent在多个基准测试中超越了现有的强大模型，展示了其在智能体能力提升方面的潜力。

🔬 方法详解

问题定义：本文旨在解决智能体工具设计的可扩展性问题。现有方法依赖手动设计，难以适应不同任务，且缺乏灵活性和效率。

核心思路：JIT-Agent通过即时生成任务自适应的智能体工具，利用固定的四模块协议，能够根据具体任务需求自动调整工具设计，从而提高智能体的整体性能。

技术框架：JIT-Agent的整体架构包括四个主要模块：任务分析模块、工具生成模块、工具修复模块和自我进化模块。任务分析模块负责理解任务需求，工具生成模块根据需求生成合适的工具，工具修复模块确保工具的稳定性，自我进化模块则通过历史数据不断优化工具设计。

关键创新：JIT-Agent是首个专门为即时工具生成而设计的模型，建立了可训练、可转移的工具智能，显著区别于传统的手动工具设计方法。

关键设计：JIT-Agent采用了特定的损失函数来优化工具生成的准确性，并通过强化学习策略来实现工具的自我修复与进化，确保生成的工具在多种任务中都能保持高效性和可靠性。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

在实验中，JIT-Agent生成的工具在DeepSearchQA和OdysseyBench基准测试中分别超越了GPT-5.6和GLM-5.2，提升幅度达到9.1和20.2分，显示出其在智能体能力提升方面的显著效果。

🎯 应用场景

JIT-Agent的研究成果在多个领域具有广泛的应用潜力，包括智能客服、自动化编程、游戏开发等。通过提升智能体的工具设计能力，能够显著提高其在复杂任务中的执行效率和适应性，推动智能体技术的进一步发展。

📄 摘要（原文）

Agent capability is not determined by the model alone. The agent harness, encompassing memory management, planning strategy, action protocol, and tool/skill orchestration, can dominate the contribution of the underlying foundation model. Yet harness design remains manual, task-specific, and fundamentally unscalable. We present JIT-Agent, a harness intelligence model trained to synthesize task-adaptive agent harnesses on the fly for arbitrary off-the-shelf agentic LLMs. We formalize the agent harness as a composable, machine-generatable artifact governed by a fixed four-module protocol, and train JIT-Agent to customize harnesses for a given task at hand, repair harnesses for stable and reliable execution, and self-evolve by distilling performance signals from an expanding archive of prior harness configurations. Equipped with JIT-Agent as a harness helper, DeepSeek-V4-Flash surpasses GPT-5.6 on DeepSearchQA (+9.1) and OdysseyBench (+4.3), while the already strong GLM-5.2 gains up to +20.2 points. Across controlled evaluations, JIT-Agent-generated harnesses are performance-competitive with mature agent runtimes such as OpenCode and Claude Code and consistently improve multi-scale model families of DeepSeek V4, Mimo-V2.5, and Qwen3.6. To our knowledge, JIT-Agent is the first model purpose-built for just-in-time harness generation, establishing harness intelligence as a trainable, transferable, and compounding dimension of agent capability orthogonal to model scaling.