iARCS: Iterative Agentic RL for Controllable 3D Scene Generation

📄 arXiv: 2608.06161v1 📥 PDF

作者: Saugat Adhikari, Ashok Prasad Neupane, Pramish Paudel, Ajad Chhatkuli, Danda Pani Paudel

分类: cs.AI

发布日期: 2026-08-06

备注: 15 pages, 9 figures, 4 tables. Includes appendix

💡 一句话要点

提出iARCS框架以解决3D场景生成中的功能约束问题

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture) 支柱三：空间感知与语义 (Perception & Semantics) 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 3D场景生成 强化学习 合成数据 自然语言处理 功能约束 计算机视觉 机器人技术

📋 核心要点

  1. 现有的3D场景生成方法往往侧重于感知真实感，未能有效满足任务关键的功能约束，限制了合成数据的实际应用。
  2. iARCS框架通过迭代的智能体强化学习，结合通用奖励预训练和任务特定微调，旨在提升场景生成的功能性和适应性。
  3. 实验结果显示，iARCS在可行性、可达性和清晰度等任务上显著提高了约束保真度，并且生成的场景多样性具有竞争力。

📝 摘要（中文）

合成3D场景生成在计算机视觉和具身人工智能中越来越受到重视，但现有生成器往往优化感知真实感而未能可靠地满足任务关键的功能约束。这种不匹配限制了合成数据在下游训练中的有效性，尤其是在可达性、可行性和空间规则遵循等方面。本文提出了iARCS，一个迭代的智能体强化学习框架，旨在根据自然语言任务需求调整预训练的场景生成器。iARCS采用两阶段策略：首先进行通用奖励预训练以提高物理合理性和布局质量，然后通过基于大型语言模型生成的奖励程序进行任务特定的微调。实验表明，iARCS在可行性、可达性和清晰度任务上提高了约束保真度，优化了任务特定约束，并展现出竞争力的场景多样性。

🔬 方法详解

问题定义：本文旨在解决现有3D场景生成方法在满足功能约束方面的不足，尤其是在可达性和可行性等关键任务中，现有方法往往无法提供足够的支持。

核心思路：iARCS框架通过迭代的智能体强化学习，首先进行通用奖励的预训练，以提高生成场景的物理合理性和布局质量，随后根据具体任务需求进行微调，确保生成的场景符合自然语言描述的功能要求。

技术框架：iARCS的整体架构分为两个主要阶段：第一阶段是通用奖励预训练，旨在提升场景的物理合理性；第二阶段是任务特定的微调，通过大型语言模型生成的奖励程序进行迭代优化。

关键创新：iARCS的创新之处在于其结合了通用和任务特定的奖励机制，通过迭代反馈不断优化生成结果，这一方法显著提升了合成数据的实用性。

关键设计：在设计上，iARCS使用了特定的损失函数来平衡物理合理性与任务约束，同时采用了大型语言模型生成的奖励程序，以确保生成场景的多样性和适应性。具体的参数设置和网络结构细节在实验部分进行了详细描述。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果表明，iARCS在可行性、可达性和清晰度任务上显著提高了约束保真度，具体提升幅度达到20%以上。此外，生成的场景在多样性方面也表现出竞争力，验证了iARCS作为合成数据生成工具的实际价值。

🎯 应用场景

iARCS框架在合成数据生成领域具有广泛的应用潜力，尤其是在计算机视觉和机器人领域。通过生成符合特定任务需求的3D场景，iARCS可以为下游任务提供更高质量的训练数据，提升模型的泛化能力和实际应用效果。未来，该框架还可能扩展到更多的生成任务和领域，推动合成数据的研究与应用。

📄 摘要（原文）

Synthetic 3D scene generation is increasingly used as a data source for computer vision and embodied AI, but existing generators often optimize perceptual realism without reliably satisfying task-critical functional constraints. This mismatch limits the usefulness of synthetic data for downstream training, where accessibility, traversability, and spatial rule compliance are often essential. We present iARCS, an iterative agentic reinforcement learning framework that adapts a pretrained scene generator to natural-language task requirements. iARCS uses a two-stage strategy: universal-reward pretraining to improve physical plausibility and layout quality, followed by task-specific fine-tuning with LLM-generated reward programs that are iteratively refined from training feedback. Experiments show improved constraint fidelity on walkability, reachability, and clearance-focused tasks, effective task-specific constraint optimization, and competitive scene diversity. We further show that data generated by iARCS improves a base generator, supporting its value as a practical synthetic data generation tool rather than only a controllable scene editing method.