SAGE: Semantic-Augmented Geometric Experts for Point Cloud Registration

📄 arXiv: 2610.36658v1 📥 PDF

作者: Tomoyasu Shimada, Kazuhiko Murasaki, Shoichiro Takeda, Shogo Sato, Riku Inoue, Toshihiko Nishimura, Ryuichi Tanida

分类: cs.CV

发布日期: 2026-10-27

备注: Accepted to WACV 2027 (Round 1)

💡 一句话要点

提出SAGE以解决低重叠点云配准中的几何歧义问题

🎯 匹配领域: 支柱三：空间感知与语义 (Perception & Semantics)

关键词: 点云配准 几何歧义 语义增强 专家混合 3D重建 机器人导航 增强现实

📋 核心要点

  1. 现有的几何方法在低重叠条件下无法有效区分几何上相似但语义上不同的结构，导致错误的点云配准结果。
  2. 本文提出的SAGE方法通过集成冻结的预训练语义表示，利用语义引导的专家混合架构来解决几何歧义问题。
  3. 实验结果显示，SAGE在3DLoMatch和3DMatch基准上均实现了最高的配准召回率和较高的内点比率，表现优异。

📝 摘要（中文）

点云配准是场景重建中的一项重要任务，要求对部分重叠的点云进行对齐。在低重叠条件下，现有的仅基于几何的方法无法区分几何上相似但语义上不同的结构，导致错误的对应关系。为了解决这一几何歧义，本文提出了语义增强几何专家（SAGE），该方法将冻结的预训练点云语义表示集成到配准流程中，无需额外传感器或微调语义编码器。SAGE采用语义引导的专家混合（SG-MoE）架构，通过语义感知路由，使每个专家能够专注于不同的语义-几何模式，从而减少几何方法的匹配错误。实验结果表明，SAGE在3DLoMatch上实现了最高的配准召回率，并在3DMatch上保持竞争力。

🔬 方法详解

问题定义：本文旨在解决低重叠条件下点云配准中的几何歧义问题。现有的几何方法无法有效区分几何上相似但语义上不同的结构，导致错误的对应关系。

核心思路：SAGE方法通过将冻结的预训练点云语义表示集成到配准流程中，利用语义信息来辅助几何匹配，从而减少几何歧义。

技术框架：SAGE采用语义引导的专家混合（SG-MoE）架构，整体流程包括语义表示的提取、专家的语义感知路由和结构感知估计器。

关键创新：SAGE的主要创新在于将冻结的语义表示与几何配准相结合，允许专家专注于不同的语义-几何模式，从而显著减少匹配错误。

关键设计：该方法在设计上不需要额外的传感器或对语义编码器的微调，且通过结构感知估计器实现了高效的配准性能。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

在实验中，SAGE在3DLoMatch基准上实现了最高的配准召回率，并在3DMatch上保持竞争力。此外，SAGE在相同的迭代次数下，达到了最高的内点比率和配准召回率，显示出其在低重叠条件下的优越性能。

🎯 应用场景

该研究在机器人导航、增强现实和自动驾驶等领域具有广泛的应用潜力。通过提高点云配准的准确性，能够显著提升场景重建的质量和效率，进而推动相关技术的发展和应用。

📄 摘要（原文）

Point cloud registration is an essential task for scene reconstruction, requiring the alignment of partially overlapping point clouds. Under low-overlap conditions, this task remains challenging because existing geometry-only methods cannot distinguish geometrically similar but semantically distinct structures (e.g., TV corners vs. desk corners and chair legs vs. table legs), resulting in incorrect correspondences. To address this geometric ambiguity, we present Semantic-Augmented Geometric Experts (SAGE), which integrates frozen pre-trained point cloud semantic representations into the registration pipeline without requiring additional sensors or fine-tuning the semantic encoder. To effectively leverage these semantic distinctions, SAGE employs a Semantic-Guided Mixture of Experts (SG-MoE) architecture. Through semantic-aware routing, SG-MoE enables each expert to specialize in distinct semantic-geometric patterns, reducing mismatches that confound geometry-only methods. With a structure-aware estimator, SAGE achieves the highest registration recall on 3DLoMatch while remaining competitive on 3DMatch. When evaluated with the same number of refinement iterations, SAGE further achieves the highest inlier ratio and registration recall on both benchmarks. These results indicate that frozen semantic representations provide effective cues for resolving geometric ambiguity in low-overlap registration.