A Spatiotemporal Approach to Tri-Perspective Representation for 3D Semantic Occupancy Prediction

📄 arXiv: 2401.13785v3 📥 PDF

作者: Sathira Silva, Savindu Bhashitha Wannigama, Gihan Jayatilaka, Muhammad Haris Khan, Roshan Ragel

分类: cs.CV

发布日期: 2024-01-24 (更新: 2025-02-16)

备注: Accepted to the 2025 Workshop on Machine Learning for Autonomous Driving at AAAI

💡 一句话要点

提出S2TPVFormer以解决3D语义占用预测中的时序信息不足问题

🎯 匹配领域: 支柱八：物理动画 (Physics-based Animation)

关键词: 3D语义占用预测 时空变换器 自动驾驶 时序信息 深度学习

📋 核心要点

  1. 现有的3D语义占用预测方法主要集中于空间线索，忽视了时序信息，导致预测效果不足。
  2. 本文提出S2TPVFormer，通过引入时序交叉视图混合注意力机制，增强了3D语义占用的预测能力。
  3. 在nuScenes数据集上的实验结果显示，S2TPVFormer在mIoU上较基线提升了4.1%，验证了其有效性。

📝 摘要（中文）

在自动驾驶系统中，对3D场景的全面理解与推理至关重要。3D语义占用预测作为一种预训练任务，能够捕捉比传统3D检测方法更细致的3D细节。尽管近年来LiDAR方法表现优越，本文提供证据表明视觉基础方法仍有提升潜力。现有方法主要关注空间线索，如三视角嵌入，往往忽视时序线索。本文提出S2TPVFormer，一种时空变换器架构，旨在预测时间一致的3D语义占用。通过引入新颖的时序交叉视图混合注意力机制（TCVHA），生成增强的时空TPV嵌入。实验结果表明，在nuScenes数据集上，S2TPVFormer在3D语义占用的平均交并比（mIoU）上较基线TPVFormer提升了4.1%。

🔬 方法详解

问题定义：本文旨在解决现有3D语义占用预测方法中时序信息缺失的问题。传统方法主要依赖空间线索，导致在动态场景中的表现不足。

核心思路：论文提出的S2TPVFormer通过引入时序线索，利用时空变换器架构来增强3D语义占用的预测能力。设计时考虑了时序信息对场景理解的重要性。

技术框架：S2TPVFormer的整体架构包括输入的三视角嵌入、时序交叉视图混合注意力机制（TCVHA）以及输出的时空TPV嵌入。该架构通过时序信息的引入，提升了模型的预测精度。

关键创新：最重要的技术创新在于TCVHA机制，它通过结合时序信息与空间信息，显著提升了3D语义占用的预测效果。这一机制与传统方法的本质区别在于对时序线索的重视。

关键设计：在模型设计中，采用了特定的损失函数以优化时序一致性，并在网络结构中引入了多层次的注意力机制，以确保信息的有效传递和融合。具体参数设置和网络层数在实验中经过调优以达到最佳效果。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

在nuScenes数据集上的实验结果显示，S2TPVFormer在3D语义占用的平均交并比（mIoU）上较基线TPVFormer提升了4.1%。这一显著的性能提升验证了引入时序信息的有效性，表明该方法在3D场景感知中的潜力。

🎯 应用场景

该研究的潜在应用领域包括自动驾驶、机器人导航和智能监控等。通过提升3D语义占用预测的准确性，能够增强自动驾驶系统的环境感知能力，从而提高安全性和效率。未来，该方法有望在更复杂的动态场景中得到应用，推动智能交通和机器人技术的发展。

📄 摘要（原文）

Holistic understanding and reasoning in 3D scenes are crucial for the success of autonomous driving systems. The evolution of 3D semantic occupancy prediction as a pretraining task for autonomous driving and robotic applications captures finer 3D details compared to traditional 3D detection methods. Vision-based 3D semantic occupancy prediction is increasingly overlooked in favor of LiDAR-based approaches, which have shown superior performance in recent years. However, we present compelling evidence that there is still potential for enhancing vision-based methods. Existing approaches predominantly focus on spatial cues such as tri-perspective view (TPV) embeddings, often overlooking temporal cues. This study introduces S2TPVFormer, a spatiotemporal transformer architecture designed to predict temporally coherent 3D semantic occupancy. By introducing temporal cues through a novel Temporal Cross-View Hybrid Attention mechanism (TCVHA), we generate Spatiotemporal TPV (S2TPV) embeddings that enhance the prior process. Experimental evaluations on the nuScenes dataset demonstrate a significant +4.1% of absolute gain in mean Intersection over Union (mIoU) for 3D semantic occupancy compared to baseline TPVFormer, validating the effectiveness of S2TPVFormer in advancing 3D scene perception.