Lucida: Parse, Generate, and Place for Composable Real-to-Sim Scene Modeling

📄 arXiv: 2608.30821v1 📥 PDF

作者: Minghan Qin, Yuang Wang, Xiuyu Yang, Yushi Long, Yujian Zhang, Ruihuan Wang, Kai Ye, Yangang Zhang, Hang Li

分类: cs.CV, cs.AI

发布日期: 2026-08-31

备注: Project Page: https://lucida-r2s.github.io/

💡 一句话要点

提出Lucida以解决真实场景建模中的实例几何精度问题

🎯 匹配领域: 支柱三：空间感知与语义 (Perception & Semantics) 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 场景建模 实例解析 资产生成 机器人仿真 多视角融合 闭环交互 环境重建

📋 核心要点

  1. 现有的场景建模方法在处理复杂环境时，常常依赖于准确的几何信息和无遮挡视图，这在实际应用中难以获得。
  2. Lucida通过解析视频生成场景图，利用多视角证据生成资产，并通过GizmoAct进行资产放置，降低了对输入数据的严格要求。
  3. 实验结果表明，Lucida在多个任务上显著提升性能，如在R2S-Scene上mAP提高69%，在CA-1M上ADD-SB@0.05从57.8%提升至83.4%。

📝 摘要（中文）

可组合场景建模旨在将真实室内场景恢复为完整、可编辑的对象资产，并按观察到的方式排列，从而为机器人仿真和具身人工智能提供一个可操作的真实环境复制品。现有方法将任务分解为三个步骤：解析观察结果、生成资产和放置资产，但每一步都假设输入是准确的实例几何、无遮挡视图和与观察结果匹配的资产。我们提出的Lucida保持了这一顺序，但重新分配了要求，使每一步仅消耗真实捕获可靠提供的信息，精度在流程结束时达到，而不是在开始时就被要求。Lucida将视频解析为场景图，节点携带每个实例的多视角证据，从证据中生成完整资产，并通过GizmoAct将资产放置视为多轮GUI交互，闭环操控对象的gizmo，决定何时达到对齐。

🔬 方法详解

问题定义：论文要解决的具体问题是如何在复杂的真实环境中准确建模场景，现有方法在处理杂乱捕获时，常常无法提供准确的实例几何和无遮挡视图，导致建模效果不佳。

核心思路：Lucida的核心思路是重新分配每个步骤的要求，使每一步仅依赖于真实捕获中可靠的信息，从而在流程结束时达到所需的精度，而不是在开始时就强求高精度。

技术框架：Lucida的整体架构包括三个主要模块：首先，将视频解析为场景图，节点包含每个实例的多视角证据；其次，从这些证据中生成完整的资产；最后，通过GizmoAct进行资产的放置，模拟多轮GUI交互。

关键创新：Lucida的关键创新在于将资产放置视为一个闭环的交互过程，而不是单次操作，这使得资产对齐的决策更加灵活和智能，显著提高了建模的准确性。

关键设计：在设计上，Lucida采用了多视角证据融合的方法，确保生成的资产能够准确反映真实场景，同时GizmoAct的实现使得资产放置过程更具交互性和自适应性。具体的损失函数和网络结构细节在论文中进行了详细描述。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果显示，Lucida在多个任务上表现优异，特别是在R2S-Scene数据集上，mAP提升了69%，在CA-1M数据集上，ADD-SB@0.05从57.8%提高至83.4%，场景F-Score从0.794提升至0.924，展现了其在场景建模中的强大能力。

🎯 应用场景

该研究的潜在应用领域包括机器人导航、虚拟现实和增强现实等，能够为这些领域提供更为精确的环境建模支持。通过实现真实场景的高效建模，Lucida有望推动智能机器人在复杂环境中的自主决策能力，提升用户体验。

📄 摘要（原文）

Composable scene modeling aims to recover a real indoor scene as complete, editable object assets arranged as observed, giving robot simulation and embodied AI a simulation-ready replica of the real environment whose objects can be manipulated individually. Existing pipelines decompose the task into three steps---parse the observations into instances, generate an asset for each, and place each asset back---but every step presumes an input that a cluttered capture rarely provides: accurate instance geometry, unoccluded views, and assets that accurately match the observations. We propose Lucida, which keeps this order but redistributes the requirements, so each step consumes only what a real capture reliably provides and precision is reached at the end of the pipeline rather than demanded at its start. Lucida parses the video into a scene graph whose nodes carry per-instance multi-view evidence, generates a complete asset for each instance from its evidence, and places assets with GizmoAct, a VLM policy that casts placement as multi-turn GUI interaction, manipulating the object's gizmo in a closed loop and deciding itself when alignment is reached. Across scene-level 3D object detection, object pose estimation, and scene reconstruction, Lucida improves mAP over Boxer by 69% on R2S-Scene, raises ADD-SB@0.05 from 57.8% to 83.4% on CA-1M, and increases scene F-Score from 0.794 for SAM3D to 0.924.