GaussianFusion: Unified 3D Gaussian Representation for Multi-Modal Fusion Perception

📄 arXiv: 2607.00746v1 📥 PDF

作者: Xiao Zhao, Chang Liu, Mingxu Zhu, Zheyuan Zhang, Linna Song, Qingliang Luo, Chufan Guo, Kuifeng Su

分类: cs.CV, cs.AI

发布日期: 2026-07-01

备注: ICLR 2026

💡 一句话要点

提出GaussianFusion以解决多模态融合感知中的细节损失问题

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 多模态融合 3D感知 高斯表示 鸟瞰图 自动驾驶 机器人感知 深度学习

📋 核心要点

  1. 现有的鸟瞰图表示法在多模态融合感知中存在显著的细节损失和特征对齐问题。
  2. 本文提出了一种基于3D高斯表示的统一框架，能够在共享的高斯空间中融合多模态特征，保留细节。
  3. 在nuScenes数据集上，GaussianFusion在3D目标检测中超越了BEVFusion，提升2.6 NDS，且在语义占用任务中表现优异。

📝 摘要（中文）

鸟瞰图（BEV）表示法在多传感器特征融合中发挥了重要作用，但其离散网格表示导致显著的细节损失，限制了特征对齐和跨模态信息交互。本文提出了一种基于3D高斯表示的统一框架GaussianFusion，能够在共享的连续3D高斯空间中自然融合多模态特征，有效保留边缘和细节纹理。通过设计新颖的前向投影多模态高斯初始化模块和共享的跨模态高斯编码器，GaussianFusion实现了任务无关的模型，支持多种3D感知任务。实验表明，该方法在nuScenes数据集上超越了BEVFusion基线2.6 NDS，并在3D语义占用任务中超越GaussFormer，提升1.55 mIoU，同时仅使用30%的高斯，速度提升达450%。

🔬 方法详解

问题定义：本文旨在解决现有鸟瞰图表示法在多模态融合感知中导致的细节损失和特征对齐不足的问题。现有方法的离散网格表示限制了跨模态信息的有效交互。

核心思路：提出基于3D高斯表示的统一框架GaussianFusion，通过在共享的连续3D高斯空间中融合多模态特征，能够有效保留边缘和细节纹理。

技术框架：GaussianFusion的整体架构包括前向投影多模态高斯初始化模块和共享的跨模态高斯编码器。前者负责初始化高斯特征，后者通过注意力机制迭代更新高斯属性。

关键创新：GaussianFusion的核心创新在于其任务无关的特性和高斯表示的统一性，使其能够支持多种3D感知任务，区别于传统的离散网格表示方法。

关键设计：在设计中，采用了新颖的高斯初始化模块和跨模态编码器，利用注意力机制优化高斯特征的更新，确保了模型在多模态融合中的高效性和准确性。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

在实验中，GaussianFusion在nuScenes数据集上相较于BEVFusion提升了2.6 NDS，显示出其在3D目标检测中的优越性。此外，其变体在3D语义占用任务中超越GaussFormer，提升了1.55 mIoU，同时仅使用30%的高斯，速度提升达450%。

🎯 应用场景

GaussianFusion的研究成果在自动驾驶、机器人感知和增强现实等领域具有广泛的应用潜力。通过提高多模态感知的准确性和效率，该方法能够为智能交通系统和自主导航提供更为可靠的支持，推动相关技术的发展与应用。

📄 摘要（原文）

The bird's-eye view (BEV) representation enables multi-sensor features to be fused within a unified space, serving as the primary approach for achieving comprehensive 3D perception. However, the discrete grid representation of BEV leads to significant detail loss and limits feature alignment and cross-modal information interaction in multimodal fusion perception. In this work, we break from the conventional BEV paradigm and propose a new universal framework for multi-modal fusion based on 3D Gaussian representation. This approach naturally unifies multi-modal features within a shared and continuous 3D Gaussian space, effectively preserving edge and fine texture details. To achieve this, we design a novel forward-projection-based multi-modal Gaussian initialization module and a shared cross-modal Gaussian encoder that iteratively updates Gaussian properties based on an attention mechanism. GaussianFusion is inherently a task-agnostic model, with its unified Gaussian representation naturally supporting various 3D perception tasks. Extensive experiments demonstrate the generality and robustness of GaussianFusion. On the nuScenes dataset, it outperforms the 3D object detection baseline BEVFusion by 2.6 NDS. Its variant surpasses GaussFormer on 3D semantic occupancy with 1.55 mIoU improvement while using only 30% of the Gaussians and achieving a 450% speedup.