LucidLyra: Feed-Forward Generative 3D Scene Reconstruction and Joint Understanding via Multi-Task Distillation

📄 arXiv: 2610.40495v1 📥 PDF

作者: Oliver Hahn, Rodrigo Marcuzzi, Sangeetha Grama Srinivasan, Alessandro Burzio, Sherwin Bahmani, Jiahui Huang, Stefan Roth, Shengyu Huang, Qunjie Zhou, Laura Leal-Taixé

分类: cs.CV

发布日期: 2026-10-29

备注: Project Page: https://research.nvidia.com/labs/sil/projects/lucidlyra

💡 一句话要点

提出LucidLyra以解决3D场景重建与理解问题

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture) 支柱三：空间感知与语义 (Perception & Semantics) 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 3D场景重建 语义理解 视频扩散模型 多模态融合 机器人仿真 开放词汇分割 动态场景重建

📋 核心要点

  1. 现有的3D理解方法依赖多视角场景，泛化能力有限，且处理成本高。
  2. LucidLyra通过蒸馏视频扩散模型与2D视觉模型的知识，联合推断3D场景信息。
  3. 实验结果显示，LucidLyra在合成和真实图像基准上超越了现有最先进的3D分割方法，同时保持重建质量。

📝 摘要（中文）

我们提出了LucidLyra框架，使得从视频潜在空间中生成的3D场景可以直接进行语义和实例查询。尽管生成的3D重建能够从单幅图像合成虚拟环境，但在机器人和物理AI等下游应用中，不仅需要视觉真实感，还需要对场景语义和物体身份的访问。现有的3D理解方法通常需要捕获多视角场景，具有有限的泛化能力，或依赖于昂贵的逐场景处理和优化。为了解决这一问题，我们的方法从相机控制的视频扩散模型和冻结的2D视觉基础模型中提取互补知识，统一推断编码几何、外观、开放词汇语义和类无关实例线索的3D高斯分布。最终结果支持新视角渲染、开放词汇分割和物体分组，无需逐场景优化，同时训练不需要手动3D标注或捕获多视角数据。

🔬 方法详解

问题定义：本论文旨在解决现有3D场景重建方法在语义理解和物体识别方面的不足，尤其是对多视角数据的依赖和处理成本高的问题。

核心思路：LucidLyra通过从视频扩散模型和冻结的2D视觉模型中提取知识，构建一个统一模型，能够直接从视频潜在空间中推断3D场景的几何和语义信息。这样的设计使得模型在不依赖多视角数据的情况下，仍能实现高效的3D重建和理解。

技术框架：该框架主要包括三个模块：视频扩散模型用于生成潜在空间，2D视觉模型用于提供语义信息，以及一个联合推断模块来整合这些信息，最终生成3D高斯分布。

关键创新：LucidLyra的主要创新在于其能够在不需要逐场景优化的情况下，直接从视频中生成可查询的3D场景，这与传统方法的逐场景处理方式形成了鲜明对比。

关键设计：在模型设计中，采用了特定的损失函数来平衡几何和语义信息的学习，同时使用了高效的网络结构以确保在训练过程中不需要手动3D标注或多视角数据。通过这样的设计，模型能够在多种场景下保持高效的性能。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果表明，LucidLyra在合成和真实图像条件下的基准测试中，超越了结合最先进3D分割方法的生成3D场景重建基线，且在重建质量上保持了较高水平。具体而言，LucidLyra在多个指标上均实现了显著提升，展示了其在3D理解任务中的优越性能。

🎯 应用场景

LucidLyra的研究成果在多个领域具有潜在应用价值，包括3D场景编辑、3D资产挖掘和机器人仿真等。通过将可渲染但未结构化的输出转化为可查询的3D世界，该框架为物理AI和机器人技术的发展提供了新的可能性，推动了智能系统在复杂环境中的应用。未来，随着技术的进一步发展，LucidLyra可能在虚拟现实和增强现实等领域发挥更大作用。

📄 摘要（原文）

We present LucidLyra, a framework that makes generatively reconstructed 3D scenes directly queryable for semantics and instances in a feed-forward manner from video latents. While generative 3D reconstruction can synthesize virtual environments from a single image, downstream applications in robotics and physical AI require not only visual realism but also access to scene semantics and object identities. Existing 3D understanding approaches, however, require captured multi-view scenes, have limited generalization capabilities, or rely on expensive per-scene processing and optimization. To bridge this gap, our method distills complementary knowledge from a camera-controlled video diffusion model and frozen 2D vision foundation models into a unified model to jointly infer 3D Gaussians encoding geometry, appearance, open-vocabulary semantics, and class-agnostic instance cues. The resulting scenes support novel-view rendering, open-vocabulary segmentation, and object grouping without per-scene optimization, while training requires neither manual 3D annotations nor captured multi-view data. Our method outperforms baselines combining state-of-the-art 3DGS segmentation approaches with generative 3D scene reconstruction on curated synthetic and real-image-conditioned benchmarks, while preserving reconstruction quality. Furthermore, our latent formulation naturally extends to monocular video, reconstructing structured dynamic 3D scenes across time. By turning renderable but unstructured outputs into queryable 3D worlds, LucidLyra enables downstream applications including 3D scene editing, 3D asset mining, and robotic simulation.