MM-TRELLIS: Point-Cloud Guided Multi-Modal 3D Vehicle Generation in Autonomous Driving

📄 arXiv: 2606.24301v1 📥 PDF

作者: Hongli Xiao, Youjian Zhang, Yucai Bai, Chaoyue Wang, Yaohui Jin, Xiaoguang Ren, Wenjing Yang, Long Lan

分类: cs.CV

发布日期: 2026-06-23

🔗 代码/项目: GITHUB

💡 一句话要点

提出MM-TRELLIS以解决多模态传感器在3D车辆生成中的不足问题

🎯 匹配领域: 支柱三：空间感知与语义 (Perception & Semantics) 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 3D车辆生成 多模态传感器 LiDAR 神经渲染 自动驾驶 几何一致性 高保真模型

📋 核心要点

  1. 现有的3D车辆生成方法未能充分利用多模态传感器，导致生成的模型质量较低，尤其是在复杂的真实场景中。
  2. 本文提出MM-TRELLIS，通过整合LiDAR点云和多视角图像，利用原生3D生成模型来提高车辆生成的几何精度和一致性。
  3. 在Waymo数据集上的实验结果显示，MM-TRELLIS在高保真3D车辆生成方面显著优于现有方法，提升了生成模型的质量。

📝 摘要（中文）

从自动驾驶场景中恢复逼真的3D车辆模型对于合成训练数据和构建仿真环境至关重要。然而，现有的车辆生成方法未能充分利用多模态传感器（如多视角图像和LiDAR点云），并依赖神经渲染重建，导致生成的网格质量较低。本文提出MM-TRELLIS，这是TRELLIS的多模态版本，旨在处理真实场景中的3D车辆生成，整合了来自自动驾驶数据集的LiDAR和图像传感器。具体而言，多视角图像作为条件输入进行循环，而LiDAR点云在测试时提供指导，以确保几何精度和跨视图一致性。通过对齐指导点云与模型先验，并在去噪过程中强制生成几何与指导点云一致，最终引入基于3D高斯点云透明度的体素过滤策略，以抑制浮动并生成干净的网格。综合实验表明，该方法在Waymo数据集上优于现有方法，生成高保真3D车辆模型。

🔬 方法详解

问题定义：本文旨在解决从自动驾驶场景中生成高质量3D车辆模型的问题。现有方法多依赖于神经渲染，未能有效利用多模态传感器，导致生成的网格质量低下，尤其在复杂的真实场景中表现不佳。

核心思路：MM-TRELLIS通过将LiDAR点云与多视角图像结合，作为条件输入和测试时指导，确保生成模型的几何精度和跨视图一致性。此设计旨在充分利用多模态数据的优势，提升生成效果。

技术框架：整体架构包括多视角图像的循环输入、LiDAR点云的对齐与指导、以及去噪过程中的一致性强制。主要模块包括数据预处理、模型生成、几何一致性检查和后处理。

关键创新：最重要的技术创新在于将LiDAR点云作为测试时的几何指导，并通过对齐与一致性强制来提高生成模型的质量。这与现有方法的单一视角输入形成了显著区别。

关键设计：在去噪过程中，首先对齐指导点云与模型先验，然后强制生成几何与指导点云一致。此外，引入基于3D高斯点云透明度的体素过滤策略，以抑制浮动并生成干净的网格。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

在Waymo数据集上的实验结果表明，MM-TRELLIS在3D车辆生成方面的表现优于现有方法，生成的模型在几何精度和视觉质量上均有显著提升，具体性能数据未详细披露，但提升幅度明显。

🎯 应用场景

该研究的潜在应用领域包括自动驾驶仿真、虚拟现实和增强现实等。通过生成高保真的3D车辆模型，能够为自动驾驶系统的训练和测试提供更真实的环境，进而提升自动驾驶技术的安全性和可靠性。未来，该方法有望在智能交通系统和城市规划中发挥重要作用。

📄 摘要（原文）

Recovering realistic 3D vehicle models from autonomous driving scenes is crucial for synthesizing training data and building simulation environment. However, most existing vehicle generation methods fail to fully exploit multimodal sensors i.e. multi-view images and LiDAR point clouds) and rely on neural rendering based reconstruction, leading to low-quality mesh. Recently, native 3D generative models have made significant progress, yet they are not built for arbitrary multi-view inputs and often struggle with in-the-wild driving images. In this work, we present MM-TRELLIS, a multi-modal version of TRELLIS for in-the-wild 3D vehicle generation that integrates LiDAR and image sensors from autonomous driving datasets into native 3D generative models. Specifically, multi-view images are cycled as conditioning inputs, while LiDAR point clouds provide test-time guidance to ensure geometric accuracy and cross-view consistency. During denoising, we first align the guidance point cloud with the model priors, then enforce consistency between the generated geometry and the guidance point cloud. Finally, we introduce a voxel filtering strategy based on the opacity of 3D Gaussian Splatting to suppress floaters and produce clean meshes. Comprehensive experiments on Waymo dataset demonstrate our method outperforms existing methods in high-fidelity 3D vehicle generation. Code is available at https://github.com/HongliXiao/MM-TRELLIS.