OutLangSplat: 3D Language Gaussian Splatting for UAV Outdoor Scenes
作者: Xia Yan, He Wu, Yanghui Xu, Zizhao Wu, Jiazhou Chen
分类: cs.CV, cs.GR
发布日期: 2026-08-05
备注: 9 pages, 6 figures, 7 tables
💡 一句话要点
提出OutLangSplat以解决无人机户外场景的3D语言理解问题
🎯 匹配领域: 支柱三：空间感知与语义 (Perception & Semantics)
关键词: 3D语言理解 无人机技术 高斯点云 语义分割 实例定位 开放词汇 特征聚合
📋 核心要点
- 现有方法在无人机户外场景中面临严重遮挡和远距离视角导致的语义激活错误和目标响应缺失的问题。
- 提出的OutLangSplat通过2D-3D双分支表示和无训练的高斯特征聚合策略，提升了特征表示的空间一致性和聚合的可靠性。
- 实验结果显示，OutLangSplat在开放词汇语义分割和实例定位任务上超越了当前最先进的方法，验证了其有效性。
📝 摘要（中文）
3D Language Gaussian Splatting将开放词汇语言特征嵌入3D高斯点云中，为文本驱动的3D场景理解提供了高效的显式表示。然而，现有方法局限于室内或小规模场景，无法有效处理无人机户外场景中的严重遮挡和远距离视角问题。本文提出OutLangSplat，通过改进特征表示和聚合可靠性，适应无人机户外场景。我们设计了基于区域对齐和融合的2D-3D双分支表示，以提高空间一致性，并引入了一种无训练的高斯特征聚合策略，抑制来自噪声视角的不可靠响应。我们还提供了一个新数据集，手动标注了四个真实世界公共无人机户外场景数据集中的各种对象。定量评估和消融研究表明，OutLangSplat在开放词汇语义分割和实例定位任务上超越了现有最先进的方法。
🔬 方法详解
问题定义：本文旨在解决无人机户外场景中3D语言理解的挑战，现有方法在处理严重遮挡和远距离视角时，常常导致语义激活错误和目标响应缺失。
核心思路：OutLangSplat通过改进特征表示和聚合策略，增强了对复杂户外场景的适应性，采用2D-3D双分支表示来提高空间一致性，并引入无训练的聚合策略来抑制噪声影响。
技术框架：整体架构包括两个主要模块：特征表示模块和特征聚合模块。特征表示模块通过区域对齐和融合实现2D和3D特征的有效结合，而特征聚合模块则利用像素贡献可靠性和跨视角语义一致性来优化聚合过程。
关键创新：最重要的创新在于引入了无训练的高斯特征聚合策略，这一策略能够有效抑制来自噪声视角的不可靠响应，与现有方法相比，显著提升了语义理解的准确性。
关键设计：在特征表示中，采用了区域对齐和融合的双分支结构，以确保空间一致性；在聚合过程中，设计了基于像素贡献的可靠性评估机制，确保了聚合结果的稳定性和准确性。
🖼️ 关键图片
📊 实验亮点
实验结果表明，OutLangSplat在开放词汇语义分割和实例定位任务上，分别比现有最先进方法提升了XX%和YY%的性能，验证了其在复杂户外场景中的有效性和可靠性。
🎯 应用场景
该研究具有广泛的应用潜力，尤其是在无人机监控、环境监测和救灾等领域。通过提高无人机在复杂户外场景中的3D语言理解能力，可以显著提升其自主导航和目标识别的效率，推动智能无人机技术的发展。
📄 摘要（原文）
3D Language Gaussian Splatting embeds open-vocabulary language features into 3D Gaussian Splatting, providing an efficient explicit representation for text-driven 3D scene understanding. However, existing methods are limited to indoor or small-scale scenes, and tend to fail in Unmanned Aerial Vehicle (UAV) outdoor scenes, where severe occlusions and long distance viewpoints often lead to incorrect semantic activations and missing target responses. In this paper, we present OutLangSplat which adapts language Gaussian representations to UAV outdoor scenes by improving feature representation and aggregation reliability. For the feature representation, a 2D-3D dual-branch representation with region-based alignment and fusion is designed to improve spatial consistency, reducing incomplete target responses and background misactivations. For the feature aggregation, we introduce a training-free contribution and consistency-aware Gaussian feature aggregation strategy that leverages pixel contribution reliability and cross-view semantic consistency to suppress unreliable responses from noisy viewpoints. A new dataset is provided by manually annotating various objects on four real-world public UAV outdoor scene datasets. To the best of our knowledge, it is the first accessible dataset of open-vocabulary 3D scene understanding for UAV outdoor scenes. Quantitative evaluations and ablation studies demonstrate that OutLangSplat outperforms SOTA methods on both open-vocabulary semantic segmentation and instance localization tasks. The datasets and codes will be open-sourced.