Automating the Design of Embodied AgentArchitectures
作者: Jian Zhou, Sihao Lin, Jin Li, Shuai Fu, Gengze Zhou, Qi Wu
分类: cs.RO, cs.AI, cs.LG
发布日期: 2026-06-29
💡 一句话要点
提出AgentCanvas和KDLoop以自动化设计具身智能体架构
🎯 匹配领域: 支柱一：机器人控制 (Robot Control) 支柱二：RL算法与架构 (RL & Architecture) 支柱九：具身大模型 (Embodied Foundation Models)
关键词: 具身智能体 架构搜索 自动化设计 AgentCanvas KDLoop 视觉-语言导航 问答系统 人机交互
📋 核心要点
- 现有的具身智能体架构设计依赖于研究者的直觉，缺乏系统化的评估和优化方法。
- 论文提出AgentCanvas和KDLoop，通过自动化设计流程来优化具身智能体的架构选择。
- 实验结果显示，架构级搜索在具身任务上能够实现成功率的显著提升，但也暴露了当前方法的局限性。
📝 摘要（中文）
具身智能体通常由感知、记忆、规划和行动模块手动设计而成，这种模块化设计带来了广泛的架构设计空间。然而，现有系统仍依赖研究者的直觉来选择信息存储位置、观察处理方式及模型调用连接。本文提出了AgentCanvas，一个支持可编辑节点-连线程序的类型图运行时，以及KDLoop，一个循环进行提案、批评、实验和蒸馏的编码智能体搜索程序。通过在视觉-语言导航、具身问答和语言条件下的操作等四个具身执行器上评估三种AAS变体，结果表明架构级搜索能够在具身任务上产生可部署的成功率提升，同时也揭示了当前自动化架构搜索的局限性。
🔬 方法详解
问题定义：本文旨在解决具身智能体架构设计中依赖研究者直觉的问题，现有方法在信息存储和处理上缺乏系统化的评估与优化。
核心思路：通过引入AgentCanvas和KDLoop，自动化设计具身智能体的架构，减少人为干预，提高设计效率和效果。
技术框架：整体架构包括AgentCanvas作为运行时环境，支持可编辑的节点-连线程序，以及KDLoop作为搜索程序，循环进行提案、批评、实验和蒸馏。
关键创新：最重要的创新在于将架构搜索自动化，能够在具身任务中实现可部署的成功率提升，克服了传统方法的局限。
关键设计：在设计中，AgentCanvas提供了模拟器感知的执行和事件级日志记录，KDLoop则通过反思机制应对搜索过程中的停滞，确保优化过程的有效性。
🖼️ 关键图片
📊 实验亮点
实验结果表明，架构级搜索能够在具身任务上实现3倍的成功率提升，尽管有一个高评分候选因存在信息泄露而被拒绝。这些结果揭示了自动化架构搜索的潜力与当前的局限性。
🎯 应用场景
该研究的潜在应用领域包括机器人导航、智能问答系统和人机交互等，能够为具身智能体的设计与优化提供新的思路和工具，提升其在复杂环境中的表现和适应能力。
📄 摘要（原文）
Embodied agents are typically built as hand-designed compositions of perception, memory, planning, and action modules. This modularity exposes a large architectural design space, but current systems still rely on researcher intuition to choose where information is stored, how observations are processed, and how model calls are connected. Agent Architecture Search (AAS) automates such design for text-domain agents, but has not been systematically evaluated on perceptual embodied agents through simulator rollouts. We study this transfer. We introduce AgentCanvas, a typed-graph runtime that hosts embodied executors as editable node-and-wire programs with simulator-aware execution and episode-level logs, and KDLoop, a coding-agent search procedure that cycles through proposal, critique, experiment, and distillation, with triggered reflection after stalls. We evaluate three AAS variants across four embodied executors spanning vision-language navigation, embodied question answering, and language-conditioned manipulation. The resulting 3x4 matrix shows that architecture-level search can produce deployable and directional success-rate gains on embodied tasks, while one apparent high-scoring candidate is rejected as leak-bearing. At the same time, the experiments expose constraints that are muted in text-domain AAS: optimization signals can be masked by rollout noise, search can become trapped in local edit basins, and episode-level credit assignment only partially emerges even when detailed logs are available. These results characterize both the promise and the current limits of automated architecture search for embodied agents.