Open-Vocabulary BEV Segmentation with 3D-Aware Geometric Constraints

📄 arXiv: 2606.24353v1 📥 PDF

作者: Hojun Choi, Seulbin Hwang, Dae Jung Kim, Kisung Kim, Hyunjung Shim, Jinhan Lee

分类: cs.CV, cs.LG

发布日期: 2026-06-23

备注: This paper has been accepted by ECCV 2026

🔗 代码/项目: PROJECT_PAGE

💡 一句话要点

提出开放词汇BEV分割以解决3D几何不一致问题

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture) 支柱三：空间感知与语义 (Perception & Semantics) 支柱七：动作重定向 (Motion Retargeting)

关键词: 开放词汇 BEV分割 3D几何约束 视觉-语言模型 自动驾驶 实时感知 高效推理

📋 核心要点

  1. 现有的BEV分割方法主要局限于封闭集场景，难以应对真实世界中的未知类别，导致性能下降。
  2. 本文提出OVBEVSeg框架，通过引入3D几何约束，解决了2D VLM语义向BEV提升过程中的几何不一致问题。
  3. 在nuScenes数据集上，OVBEVSeg在未见类别上实现了15.3 mIoU的提升，并且推理速度提高了2.5倍，内存消耗仅为传统方法的0.22倍。

📝 摘要（中文）

鸟瞰视图（BEV）感知将多摄像头图像融合为统一的自上而下表示，广泛应用于自动驾驶。尽管已有进展，现有方法仍局限于封闭集场景，易受不可预测的现实环境影响。本文提出开放词汇BEV分割（OVBS），利用视觉-语言模型（VLM）识别超出训练集的类别，同时保持精确的BEV感知和实时效率。OVBS的关键挑战在于将2D VLM语义提升至BEV时固有的3D几何不一致性。为此，本文提出OVBEVSeg框架，通过在三个阶段中利用稳健的3D几何约束，增强高效的基于高斯喷溅的反投影。实验结果表明，OVBEVSeg在nuScenes数据集上实现了最先进的性能，未见类别的mIoU提升达15.3，且在推理速度和内存消耗上表现优异。

🔬 方法详解

问题定义：本文旨在解决现有BEV分割方法在开放词汇场景下的3D几何不一致性问题。现有方法在处理未知类别时表现不佳，限制了其在复杂环境中的应用。

核心思路：提出OVBEVSeg框架，通过引入3D几何约束，增强从2D VLM到BEV的语义提升过程，确保几何一致性和实时性能。

技术框架：OVBEVSeg框架分为三个主要阶段：1) 通过可靠的3D投影进行2D到BEV的伪标签生成；2) 结合BEV结构约束进行每场景的2D-BEV联合优化；3) 进行3D几何蒸馏以提高在线效率。

关键创新：最重要的创新在于引入了几何约束来解决2D到BEV的提升过程中的不一致性问题，这与现有方法的单一视角处理方式有本质区别。

关键设计：在设计中，采用了高效的高斯喷溅反投影技术，并在损失函数中引入了几何一致性约束，以确保在不同阶段的优化过程中保持3D结构的稳定性。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

OVBEVSeg在nuScenes数据集上实现了最先进的性能，未见类别的mIoU提升达15.3，且在推理速度上提高了2.5倍，内存消耗仅为传统投影方法的0.22倍，显示出显著的效率优势。

🎯 应用场景

该研究在自动驾驶、智能交通系统等领域具有广泛的应用潜力。通过实现开放词汇的BEV分割，能够更好地适应复杂和动态的环境，提高自动驾驶系统的安全性和可靠性。未来，该技术还可能扩展到其他需要实时环境感知的机器人系统中。

📄 摘要（原文）

Bird's-eye view (BEV) perception fuses multi-camera images into a unified top-down representation for autonomous driving. Despite recent progress, state-of-the-art methods remain confined to closed-set scenarios, making them vulnerable to unpredictable real-world environments. In this work, we introduce open-vocabulary BEV segmentation (OVBS), which leverages vision-language models (VLMs) to recognize categories beyond the training set while maintaining precise BEV perception and real-time efficiency. A key challenge in OVBS lies in the 3D geometric inconsistency inherent in the ill-posed lifting of 2D VLM semantics into BEV. To address this, we propose OVBEVSeg, a geometry-aware OVBS framework that enhances efficient Gaussian splatting (GS)-based unprojection by leveraging robust 3D geometric constraints across three progressive stages: (1) 2D-to-BEV pseudo-labeling via reliable 3D projection for OV generalization; (2) joint 2D-BEV per-scene optimization with BEV structural constraints for 3D geometric consistency; and (3) 3D geometric distillation for online efficiency. On the nuScenes dataset, OVBEVSeg achieves state-of-the-art performance, outperforming closed-set methods by 15.3 mIoU on unseen categories. Remarkably, even with no novel-class ground-truth labels, it remains competitive with self- and semi-supervised baselines trained with up to 40% of ground-truth annotations. Furthermore, it achieves 2.5x faster inference with only 0.22x the memory consumption of projection-based methods. Project page: https://hchoi256.github.io/projects/ovbevseg/.