Agentic Design of Compositional Machines

📄 arXiv: 2510.14980v2 📥 PDF

作者: Wenqian Zhang, Weiyang Liu, Zhen Liu

分类: cs.AI, cs.CL, cs.CV, cs.GR, cs.LG

发布日期: 2025-10-16 (更新: 2025-10-19)

备注: 75 pages, 31 figures, Project Page: https://besiegefield.github.io

💡 一句话要点

提出基于LLM智能体的组合机器设计方法，并构建BesiegeField测试平台。

🎯 匹配领域: 支柱一：机器人控制 (Robot Control) 支柱二：RL算法与架构 (RL & Architecture) 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 组合机器设计 大型语言模型 强化学习 物理模拟 智能体 代码生成 BesiegeField

📋 核心要点

  1. 现有方法在复杂机器的组合设计方面存在不足，尤其是在空间推理和物理环境交互方面。
  2. 利用大型语言模型作为智能体，通过编写代码来显式指定部件连接，实现机器的组合设计。
  3. 构建BesiegeField测试平台，并基于此对LLM进行基准测试和强化学习微调，验证方法有效性。

📝 摘要（中文）

复杂机器的设计是人类智能的标志，也是工程实践的基础。鉴于大型语言模型（LLM）的最新进展，本文探讨它们是否也能学会创造。研究聚焦于组合机器设计：将机器从标准化组件组装起来，以满足模拟物理环境中的运动或操作等功能需求。机器设计被表达为编写类似XML的代码，明确指定部件之间的连接。为了支持这项研究，本文引入了BesiegeField，一个基于机器建造游戏Besiege的测试平台，支持基于部件的构建、物理模拟和奖励驱动的评估。使用BesiegeField，对最先进的LLM进行了智能体工作流程的基准测试，并确定了成功所需的关键能力，包括空间推理、战略组装和指令遵循。由于当前的开源模型表现不足，本文探索了强化学习（RL）作为改进的途径：策划了一个冷启动数据集，进行了RL微调实验，并强调了语言、机器设计和物理推理交叉领域的开放挑战。

🔬 方法详解

问题定义：论文旨在解决如何利用大型语言模型自动设计和构建满足特定功能的组合机器的问题。现有方法在处理复杂空间关系、进行有效的物理推理以及战略性地组装部件方面存在局限性，导致设计出的机器性能不佳或无法正常工作。

核心思路：论文的核心思路是将机器设计问题转化为一个代码生成问题，利用大型语言模型生成类似XML的代码来描述机器的结构和部件连接。通过将LLM作为智能体，使其能够根据环境反馈和奖励信号进行学习和优化，从而提高机器设计的质量和效率。

技术框架：整体框架包括以下几个主要模块：1) 环境模拟器：使用BesiegeField作为物理模拟环境，模拟机器的运动和操作。2) LLM智能体：使用大型语言模型作为智能体，负责生成机器设计代码。3) 奖励函数：定义奖励函数，用于评估机器的性能，并作为LLM智能体的学习信号。4) 强化学习模块：使用强化学习算法对LLM智能体进行微调，使其能够更好地适应环境并生成更优的设计。

关键创新：最重要的技术创新点在于将大型语言模型与物理模拟环境相结合，实现了一种端到端的机器设计方法。这种方法能够充分利用LLM的语言理解和代码生成能力，同时结合物理模拟的反馈，从而有效地解决复杂机器设计问题。与传统的手动设计或基于规则的设计方法相比，该方法具有更高的自动化程度和灵活性。

关键设计：关键设计包括：1) 代码表示：使用类似XML的代码来描述机器的结构和部件连接，这种表示方式易于LLM理解和生成。2) 奖励函数设计：设计合理的奖励函数，以引导LLM智能体学习生成满足特定功能的机器。3) 强化学习算法选择：选择合适的强化学习算法，如PPO或DDPG，对LLM智能体进行微调。4) 冷启动数据集：构建一个包含少量高质量机器设计样本的冷启动数据集，用于初始化LLM智能体的学习。

📊 实验亮点

论文通过实验证明，现有的开源LLM在BesiegeField测试平台上表现不佳，表明在空间推理、战略组装和指令遵循方面存在不足。通过强化学习微调，LLM在机器设计任务上取得了一定的改进，但仍面临诸多挑战。实验结果突出了语言、机器设计和物理推理交叉领域的研究潜力。

🎯 应用场景

该研究成果可应用于机器人设计、自动化工程、以及其他需要复杂机械结构设计的领域。通过自动化机器设计流程，可以显著降低设计成本，缩短设计周期，并探索更多创新性的设计方案。未来，该技术有望应用于定制化机器人、智能制造等领域，推动相关产业的发展。

📄 摘要（原文）

The design of complex machines stands as both a marker of human intelligence and a foundation of engineering practice. Given recent advances in large language models (LLMs), we ask whether they, too, can learn to create. We approach this question through the lens of compositional machine design: a task in which machines are assembled from standardized components to meet functional demands like locomotion or manipulation in a simulated physical environment. With this simplification, machine design is expressed as writing XML-like code that explicitly specifies pairwise part connections. To support this investigation, we introduce BesiegeField, a testbed built on the machine-building game Besiege, which enables part-based construction, physical simulation and reward-driven evaluation. Using BesiegeField, we benchmark state-of-the-art LLMs with agentic workflows and identify key capabilities required for success, including spatial reasoning, strategic assembly, and instruction-following. As current open-source models fall short, we explore reinforcement learning (RL) as a path to improvement: we curate a cold-start dataset, conduct RL finetuning experiments, and highlight open challenges at the intersection of language, machine design, and physical reasoning.