MUSE: Agentic 3D Scene Authoring via Memory-Grounded Incremental Requirement Satisfaction

📄 arXiv: 2606.14168v1 📥 PDF

作者: Ruijie Xu, Xinnan Zhu, Jiayu Ying, Daoguo Dong, Yuzhou Ji, Xin Tan

分类: cs.CV

发布日期: 2026-06-12

💡 一句话要点

提出MUSE以解决3D场景生成的可编辑性问题

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 3D场景生成 增量需求满足 记忆驱动 多代理系统 可编辑性 数字内容创作 虚拟现实 交互式设计

📋 核心要点

  1. 现有的3D场景生成方法在编辑和修改时缺乏需求级别的状态跟踪，导致部分失败需要全场景重生或人工干预。
  2. 本文提出MUSE框架，通过记忆驱动的多代理系统实现增量需求满足，统一了场景构建与编辑的过程。
  3. 实验结果表明，MUSE在全构建案例中成功率从37.9%提升至80.7%，在编辑测试中保留率达到99.9%。

📝 摘要（中文）

基于文本驱动的3D场景生成是一种有前景的数字内容创作技术，但现有方法在编辑和修改现有场景时缺乏可控性。为了解决这一挑战，本文提出了MUSE，一个基于记忆的多代理框架，通过将3D场景创作视为增量需求满足，统一了构建与编辑。MUSE显著提高了场景生成的成功率和编辑的保留率，展示了其在可控3D场景创作中的有效性。

🔬 方法详解

问题定义：现有的3D场景生成方法在编辑时缺乏可控性，导致部分失败需要全场景重生或人工干预，影响了工作效率和用户体验。

核心思路：MUSE通过将3D场景创作视为增量需求满足，结合记忆机制，实现了对场景构建和编辑的统一控制，提升了可编辑性和保留性。

技术框架：MUSE框架包含三个主要模块：Architect负责将指令编译为结构化需求，Sculptor执行局部场景操作，Inspector验证每一步并更新工作、场景和技能记忆。

关键创新：MUSE的核心创新在于其记忆驱动的多代理系统，能够在满足需求的同时保持非目标内容的完整性，与现有方法相比，显著提高了编辑的灵活性和准确性。

关键设计：MUSE设计了多种记忆模块，包括工作记忆、场景记忆和技能记忆，以支持需求跟踪和操作验证，确保每一步操作都能有效满足用户需求。实验中使用的损失函数和评估指标也经过精心设计，以确保结果的可靠性和有效性。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

在实验中，MUSE在全构建案例中将成功率从37.9%提升至80.7%，在240个案例的编辑测试中实现了49.6%的成功率和99.9%的保留率，且仅有0.6%的意外变化率，显示出其在可控性和稳定性方面的显著优势。

🎯 应用场景

MUSE框架在数字内容创作、虚拟现实和游戏设计等领域具有广泛的应用潜力。其可控的3D场景生成能力能够帮助设计师更高效地创建和修改场景，提升用户体验，并推动交互式设计的发展。

📄 摘要（原文）

Text-driven 3D scene generation is a promising technique for digital content creation, embodied AI simulation, and interactive design, yet practical workflows often require refining, extending, or correcting existing scenes while preserving non-target content. Existing methods can produce realistic and structurally plausible scenes, but they generally lack editability with requirement-level state tracking, so part-level failures often lead to full-scene regeneration or manual intervention. To tackle this challenge, we formulate controllable 3D scene authoring as incremental requirement satisfaction, unifying construction and editing. In this paper, we present MUSE, a memory-grounded multi-agent framework in which an Architect compiles instructions into structured requirements, a Sculptor executes local scene operations, and an Inspector verifies each step while updating Working, Scene, and Skill Memory. To evaluate requirement-level controllability and preservation-aware editing, we introduce AuthorBench, offering 145 constrained construction cases and a 1,584-case preservation-aware editing pool paired with external structured checks. On full construction cases, MUSE improves All-Goal success from 37.9 to 80.7 and surface-constraint fulfillment from 35.0 to 92.6 over the strongest baseline. On a stratified 240-case editing test split, MUSE achieves 49.6 All-Goal success, 99.9 preservation rate, and only 0.6 unintended change rate. Beyond automated metrics, human evaluations on compared local-editing baselines support stronger alignment with user intent, and downstream navigation-proxy tests indicate stronger spatial stability. Combined with ablations validating our memory designs, these results establish MUSE as an effective framework for controllable 3D scene authoring.