DDStereo: Efficient Dual Decoder Transformers for Stereo 3D Road Anomaly Detection

📄 arXiv: 2606.24805v1 📥 PDF

作者: Shiyi Mu, Zichong Gu, Zhiqi Ai, Yilin Gao, Shugong Xu

分类: cs.CV

发布日期: 2026-06-23

💡 一句话要点

提出DDStereo以解决立体3D物体检测的实时性与开放集泛化问题

🎯 匹配领域: 支柱三：空间感知与语义 (Perception & Semantics)

关键词: 立体3D检测 开放集检测 实时性能 双解码器 变换器 物体检测 深度学习

📋 核心要点

  1. 现有立体3D物体检测方法在推理速度上显著低于单目方法，无法满足实时应用需求。
  2. 提出DDStereo，采用双解码器结构，分别处理开放集前景检测和3D属性回归，提升检测效率。
  3. 实验结果显示，DDStereo在多个公共立体3D基准测试中实现了最先进的准确性和更快的推理速度。

📝 摘要（中文）

基于立体的3D物体检测面临实时性能和开放集泛化的两大安全挑战。现有方法虽然在准确性上优于单目方法，但推理速度显著较低，不适合实时应用。为此，本文提出了DDStereo，一种新颖的双解码器立体变换器，旨在实现实时开放集3D物体检测。DDStereo具有两个轻量级解码器分支，分别用于开放集前景2D检测和3D属性回归。通过共享对象级查询，实现统一的目标级对齐。实验结果表明，DDStereo在闭集和开放集协议下均达到了最先进的准确性，并在推理速度上超越了现有立体3D检测器，实现了与单目方法相当的实时性能。

🔬 方法详解

问题定义：本文旨在解决立体3D物体检测中的实时性和开放集泛化问题。现有方法在准确性上虽优于单目检测，但推理速度较慢，限制了其在实际应用中的有效性。

核心思路：DDStereo通过设计双解码器结构，分别处理开放集前景检测和3D属性回归，利用共享对象级查询实现目标级对齐，从而提高检测效率和准确性。

技术框架：DDStereo的整体架构包括两个主要模块：一个用于开放集前景2D检测的解码器和一个用于3D属性回归的解码器。通过紧凑的视差特征提取器和简化的解码器架构，提升了推理效率。

关键创新：DDStereo的主要创新在于双解码器设计和对象级查询共享机制，使得在开放集检测中实现了更高的准确性和效率，突破了现有立体3D检测方法的局限。

关键设计：在参数设置上，采用了轻量级的网络结构，损失函数设计上考虑了开放集检测的特殊需求，确保了模型在不同场景下的鲁棒性和准确性。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

在多个公共立体3D基准测试中，DDStereo在闭集和开放集协议下均达到了最先进的准确性，推理速度显著提升，首次实现了与单目方法相当的实时性能，展示了其在实际应用中的巨大潜力。

🎯 应用场景

DDStereo的研究成果具有广泛的应用潜力，特别是在自动驾驶、智能交通监控和机器人导航等领域。其实时性和开放集检测能力能够显著提升系统的安全性和可靠性，推动相关技术的实际应用和发展。

📄 摘要（原文）

Stereo-based 3D object detection still faces two critical safety challenges: real-time performance and open-set generalization. Existing stereo 3D methods typically achieve twice the accuracy of monocular methods but suffer from significantly lower inference speeds, making them unsuitable for real-time applications. Meanwhile, recent advances in open-world detection have introduced open-set and open-vocabulary algorithms in monocular 2D and 3D settings, yet stereo-based open-set detection remains largely unexplored. To bridge this gap, we propose DDStereo, a novel Dual-Decoder Stereo Transformer for real-time open-set 3D object detection. DDStereo features two lightweight decoder branches: one for open-set foreground 2D detection and the other for 3D attribute regression. These decoders share object-level queries to achieve unified target-level alignment. To enhance inference efficiency, we designed a compact disparity feature extractor and a streamlined decoder architecture. Experiments on public stereo 3D benchmarks demonstrate that DDStereo achieves state-of-the-art accuracy under both closed-set and open-set protocols. Notably, our method surpasses existing stereo 3D detectors in inference speed and, for the first time, achieves real-time performance comparable to monocular approaches.