Zero-Shot Self-Orchestration with Ledger-Based Control for Improved LLM Coding Performance
作者: Victor Gao, Vida Khosrowshahi, Ali Khosrowshahi, Xihao Sun, Juhyun Lee, Simon, Lee
分类: cs.MA, cs.AI, cs.CL, cs.SE
发布日期: 2026-08-27
💡 一句话要点
提出基于账本控制的自我协调机制以提升LLM编码性能
🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)
关键词: 大型语言模型 多智能体系统 编码性能 管理者-工作者架构 共享文件系统 上下文管理 问题分解
📋 核心要点
- 现有的多智能体大型语言模型系统在性能上存在不一致性，难以明确哪些因素真正推动了性能提升。
- 本文提出了一种管理者-工作者的架构，通过共享文件系统来协调模型的工作，旨在提高编码性能。
- 实验结果显示，在某些模型上，使用管理者的架构显著提高了性能，Opus-5在一次调用中达到了91%的准确率。
📝 摘要（中文）
多智能体大型语言模型系统被广泛报道优于单模型基线，但证据不一且比较通常受到混淆。本文研究了在共享文件系统工作区中引入管理者-工作者架构的效果，未进行训练和基准调优。通过对九个模型在100个最新的LiveCodeBench问题上的测试，发现该架构的优势在某些情况下显著，且在管理者的帮助下，Opus-5在一次调用中达到了91%的最高得分。尽管运行管理者的代价大约是三倍的token费用，但其在准确性上的提升相较于使用更大模型更具成本效益。
🔬 方法详解
问题定义：本文旨在解决多智能体大型语言模型系统在性能提升上的不一致性和混淆问题，现有方法难以明确哪些因素对性能提升起到关键作用。
核心思路：通过引入管理者-工作者架构，利用共享文件系统来组织模型的调用和状态管理，减少信息丢失和上下文截断，从而提升编码性能。
技术框架：整体架构包括管理者和多个工作者，管理者负责协调工作者的调用，工作者在共享文件系统中进行任务处理，整个流程不需要额外的训练或调优。
关键创新：最重要的创新在于引入了管理者-工作者的协调机制，显著改善了模型在处理复杂任务时的表现，与传统单模型方法相比，能够更有效地管理上下文信息。
关键设计：在参数设置上，使用了共享文件系统来存储状态和笔记，工作者的调用被设计为短小精悍，以减少信息截断的风险，同时在某些模型上禁用推理以提高性能。
🖼️ 关键图片
📊 实验亮点
实验结果显示，使用管理者架构的Opus-5在一次调用中达到了91%的准确率，显著高于其他模型。尽管管理者的使用增加了token费用，但其在准确性上的提升更具成本效益，尤其是与更大模型相比，表现出更优的性价比。
🎯 应用场景
该研究的潜在应用领域包括编程辅助、自动化代码生成和复杂问题求解等。通过提升大型语言模型的编码性能，能够在软件开发、教育和科研等多个领域提供更高效的解决方案，未来可能推动智能编程工具的发展。
📄 摘要（原文）
Multi-agent large language model systems are widely reported to beat single-model baselines, but the evidence is mixed, and comparisons are usually confounded: pipelines change token budgets, tool calls, and prompts simultaneously, so an aggregate gain rarely reveals what actually helped. We investigate the effect of introducing the manager-worker scaffold over a shared filesystem workspace, with no training and no per-benchmark tuning, measured against the same model answering in a single pass. Across nine models -- five open-weight, spanning 9B to ~2.8T parameters, and four frontier closed models -- on the 100 latest hard LiveCodeBench problems, the scaffold's benefit is real but conditional: large and statistically significant for some (Qwen3.8-27B +23.4, GPT-5.6-Luna +10.6 and GPT-5.6-Terra +8.0, each over five paired passes; Kimi-K3 +30.4 and Minimax-M3 +11.0 over five paired passes with reasoning off, both at $p < 10^{-4}$, and +42 and +12 in a single pass at a 128k cap) and null or negative for others (Qwen3.6-35B -1 to -9 with reasoning off). With the manager, Opus-5 achieves the highest score in the study at 91% in one pass. Running a manager roughly triples the token bill, but it buys accuracy more cheaply than moving to a larger model does: GPT-5.6-Terra with a manager nearly matches Fable 5's single-call accuracy (85.0 against 87.4, $p = 0.59$) at a fifth of the price (\$11.71 against \$61.11 per 100-problem pass, $p < 10^{-4}$), and the Qwen-27B arm does it for \$51.75 on weights anyone can self-host. Our transcript analysis finds several mechanisms behind the gains, of which two recur: context management, in which short worker calls and shared notes organize state and reduce truncation, and problem decomposition. Improvements are modest for large models with reasoning enabled, but larger for some models with reasoning disabled and for smaller models with reasoning enabled.