LLMs as MDP Designers: A Dependency-Aware Agentic Framework for Automated Robot Policy Generation

📄 arXiv: 2611.04974v1 📥 PDF

作者: Hong Je-Gal, Jinwoo Kim, Chanbin Yi, Hyun-Suk Lee

分类: cs.RO, cs.AI

发布日期: 2026-11-03

备注: Accepted to the 40th Annual Conference on Neural Information Processing Systems (NeurIPS 2026)

💡 一句话要点

提出ARPG框架以解决自动化机器人策略生成问题

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture) 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 机器人策略生成 强化学习 马尔可夫决策过程 依赖感知 自动化设计

📋 核心要点

  1. 现有方法在从自然语言生成可执行机器人策略时，常面临状态、动作和奖励等元素语义不一致的问题，导致生成的策略不可学习。
  2. 论文提出ARPG框架，通过依赖感知的方式进行顺序MDP建模和模拟器实现，确保生成的策略在语义上保持一致性。
  3. 实验结果显示，ARPG在建模正确性和策略生成成功率上显著优于传统的LLM基线，且在多种机器人和工程领域的MDP中表现出色。

📝 摘要（中文）

本研究探讨了从自然语言任务描述自动生成可执行机器人强化学习（RL）策略的方法。与其将大型语言模型（LLMs）作为执行时决策者，不如将其作为设计者，在部署前构建RL管道，包括马尔可夫决策过程（MDP）建模和模拟器实现。我们识别出这一问题的阶段性结构：MDP建模是依赖结构和顺序的，而一旦建模固定，模拟器实现则变得模块化。基于此结构，我们提出了ARPG，一个依赖感知的代理框架，执行顺序的MDP建模、本地验证与修正，以及模拟器结构化实现，同时外部化中间产物。ARPG针对自动化策略生成的关键失败模式：当状态、动作、奖励和终止产物在语义上不一致时，可执行代码仍可能产生不可学习的策略。实验结果表明，ARPG在建模正确性、环境可执行性和策略生成成功率上优于单一LLM基线和现成的代理系统。

🔬 方法详解

问题定义：本论文旨在解决从自然语言任务描述自动生成可执行机器人强化学习策略的挑战。现有方法在生成过程中，常常出现状态、动作、奖励和终止条件等元素的语义不一致，导致生成的策略不可学习。

核心思路：论文提出的ARPG框架通过依赖感知的方式，分阶段处理MDP建模和模拟器实现，确保在生成过程中各个元素之间的语义一致性，从而提高生成策略的可学习性和有效性。

技术框架：ARPG框架包含三个主要模块：顺序MDP建模、局部验证与修正、模拟器结构化实现。首先进行MDP建模，随后进行局部验证以确保模型的正确性，最后实现模拟器的结构化。

关键创新：ARPG的最大创新在于其依赖感知的设计，使得MDP建模和模拟器实现能够有效分离并模块化，从而提高了生成策略的质量和可执行性。这一方法与传统的单一LLM基线相比，显著改善了策略生成的成功率。

关键设计：在ARPG中，关键设计包括依赖结构的明确划分、局部验证机制的引入，以及模拟器实现的模块化设计。这些设计确保了生成过程中的每个环节都能保持语义一致性，避免了常见的生成错误。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果表明，ARPG在建模正确性、环境可执行性和策略生成成功率上显著优于传统的单一LLM基线，具体表现为在Isaac Sim中的成功率提升超过20%。此外，ARPG在多个自定义机器人和标准强化学习任务中均表现出色，显示出其广泛的适用性。

🎯 应用场景

该研究的潜在应用领域包括机器人任务自动化、智能制造和工程设计等。ARPG框架能够有效生成高质量的机器人策略，提升机器人在复杂环境中的自主决策能力，具有广泛的实际价值和未来影响。

📄 摘要（原文）

We investigate the automated generation of executable robot reinforcement learning (RL) policies from natural-language task descriptions. Rather than using large language models (LLMs) as execution-time decision makers, we use them as designers that construct RL pipelines before deployment, including Markov decision process (MDP) formulation and simulator implementation. We identify a phase-wise structure in this problem: MDP formulation is dependency-structured and sequential, whereas simulator implementation becomes modular once the formulation is fixed. Based on this structure, we propose ARPG, a dependency-aware agentic framework that performs sequential MDP modeling, localized verification and correction, and simulator-structured implementation while externalizing intermediate artifacts. ARPG targets a key failure mode of automated policy generation: executable code may still yield non-learnable policies when state, action, reward, and termination artifacts are not semantically aligned. Experiments in Isaac Sim show that ARPG improves modeling correctness, environment executability, and policy-generation success compared with monolithic LLM baselines and off-the-shelf agentic systems. Additional demonstrations on custom robotics, standard RL, and engineering-domain MDPs further suggest that the same modeling pipeline can be reused beyond the main benchmark suite.