ReinSeg: Retrieval-Guided Bounded Multimodal Refinement for 3-D Road Anomaly Segmentation

📄 arXiv: 2611.02648v1 📥 PDF

作者: Haifa Zhang, Yijing Wang, Zhiqiang Zuo

分类: cs.CV

发布日期: 2026-11-02

💡 一句话要点

提出ReinSeg以解决3D道路异常分割问题

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 3D道路异常分割 多模态融合 自动驾驶 风险感知 LiDAR 环视图像 深度学习 视觉证据

📋 核心要点

  1. 现有方法在3D道路异常分割中难以有效区分稀疏的危险与丰富的正常结构，且点位度量的准确性难以保证。
  2. ReinSeg通过检索引导的多模态精炼框架，结合LiDAR和环视图像的信息，优化了点位异常分割的效果。
  3. 在Spotting the Unexpected基准上，ReinSeg的验证平均精度从27.54%提升至35.67%，假阳性率显著降低。

📝 摘要（中文）

3D道路异常分割对于自动驾驶中的风险感知至关重要。其核心挑战在于如何在稀疏观察到的危险与丰富的正常道路结构之间进行有效区分，同时保持点位度量的准确性。本文提出了ReinSeg，一个基于检索引导的多模态精炼框架，利用LiDAR和环视图像的互补信息来实现点位道路异常分割。实验结果表明，ReinSeg在Spotting the Unexpected基准上显著提高了验证平均精度，并降低了假阳性率，证明了其在3D道路危险感知中的有效性。

🔬 方法详解

问题定义：本文旨在解决3D道路异常分割中的稀疏危险与正常结构的有效区分问题。现有方法在处理点位度量时存在准确性不足的痛点。

核心思路：ReinSeg通过检索引导的方式，利用LiDAR提供的3D点支持和环视图像的语义上下文，优化了异常分割的精度。该设计避免了对检索模块的标定变量需求，确保了系统的灵活性。

技术框架：ReinSeg的整体架构包括三个主要模块：LiDAR点特征提取、环视图像检索和相对范数界限残差返回。通过这些模块的协同工作，实现了高效的异常分割。

关键创新：ReinSeg的创新在于引入了基于检索的场景特定视觉证据的界限化获取，显著提升了3D道路危险感知的可靠性。这一方法在缺失或损坏的摄像头输入下仍能保持优于LiDAR单一输入的性能。

关键设计：在设计中，采用了相对范数界限的残差返回机制，确保了LiDAR异常评分接口的稳定性。损失函数和网络结构经过精心调整，以优化在分布内语义标签的精炼效果。

🖼️ 关键图片

fig_0
fig_1

📊 实验亮点

ReinSeg在Spotting the Unexpected基准上实现了验证平均精度从27.54%提升至35.67%，假阳性率在95%异常召回下从34.85%降至10.61%。与REL相比，AP提升了24.99个百分点，FPR95降低了0.99个百分点，展现出显著的性能优势。

🎯 应用场景

该研究的潜在应用领域包括自动驾驶、智能交通系统和城市安全监控等。通过提高3D道路异常分割的准确性，ReinSeg能够有效提升自动驾驶车辆的环境感知能力，从而降低交通事故风险，增强行车安全性。未来，该技术有望在更广泛的智能交通应用中发挥重要作用。

📄 摘要（原文）

3-D road anomaly segmentation is essential for risk-aware perception in autonomous driving. Its central challenge is to rank sparsely observed hazards ahead of abundant normal road structures while preserving point-wise metric localization. LiDAR provides accurate 3-D point support, whereas surround-view imagery offers complementary semantic context for separating unexpected hazards from challenging normal structures. We propose ReinSeg, a retrieval-guided bounded multimodal refinement framework for point-wise road anomaly segmentation. Occupied LiDAR bird's-eye-view cells retrieve scene-specific context from a shared memory of eight surround-view images without supplying calibration variables to the retrieval module. A relative-norm-bounded residual returns this context to the LiDAR point features, so the frozen LIDO anomaly-scoring interface is preserved, and the refinement is optimized with in-distribution semantic labels only. On the Spotting the Unexpected (STU) benchmark, ReinSeg improves validation average precision from 27.54\% to 35.67\% and reduces the false-positive rate at 95\% anomaly recall from 34.85\% to 10.61\%, shrinking the high-recall screening set from 67.54 to 20.55 million points. Relative to REL, AP is 24.99 percentage points higher and FPR95 is 0.99 points lower. Matched interfaces and component isolation show that retrieved scene imagery and the relative-norm bound are both essential, and ReinSeg stays above LiDAR-only performance under missing, corrupted, or misaligned camera inputs while running at 21.8 frames per second. These results establish bounded retrieval of scene-specific visual evidence as an effective route to reliable 3-D road-hazard perception.