Pyramid Feature Attention Network for Monocular Depth Prediction

📄 arXiv: 2403.01440v1 📥 PDF

作者: Yifang Xu, Chenglei Peng, Ming Li, Yang Li, Sidan Du

分类: cs.CV

发布日期: 2024-03-03

备注: 6 pages, 5 figures

DOI: 10.1109/ICME51207.2021.9428446

💡 一句话要点

提出金字塔特征注意力网络以提升单目深度预测精度

🎯 匹配领域: 支柱三：空间感知与语义 (Perception & Semantics) 支柱七：动作重定向 (Motion Retargeting)

关键词: 单目深度估计 深度学习 卷积神经网络 特征注意力 自动驾驶

📋 核心要点

  1. 现有单目深度估计方法未能充分利用不同层次特征图的贡献，导致预测精度不足。
  2. 本文提出金字塔特征注意力网络（PFANet），通过双尺度通道注意力模块和空间金字塔注意力模块提升特征表达能力。
  3. 实验结果显示，PFANet在KITTI数据集上表现优异，超越了多种最先进的方法。

📝 摘要（中文）

深度卷积神经网络（DCNNs）在单目深度估计（MDE）中取得了显著成功。然而，现有方法往往未能充分考虑不同层次特征图对MDE的贡献，导致预测结果在空间布局、边界模糊和物体表面不连续等方面存在不足。为了解决这些问题，本文提出了一种金字塔特征注意力网络（PFANet），旨在改善高层上下文特征和低层空间特征。PFANet中设计了双尺度通道注意力模块（DCAM），用于在不同尺度上应用通道注意力，聚合高层特征图中的全局上下文和局部信息。同时，设计了空间金字塔注意力模块（SPAM），引导网络关注低层特征图中的多尺度细节信息。最后，引入尺度不变梯度损失，以增加对深度不连续区域错误的惩罚。实验结果表明，所提方法在KITTI数据集上优于现有最先进的方法。

🔬 方法详解

问题定义：本文旨在解决单目深度估计中不同层次特征图对预测结果贡献不足的问题。现有方法在空间布局、边界清晰度和物体表面连续性方面存在明显不足。

核心思路：提出金字塔特征注意力网络（PFANet），通过引入双尺度通道注意力模块（DCAM）和空间金字塔注意力模块（SPAM），有效整合高层和低层特征，提升深度预测的准确性。

技术框架：PFANet的整体架构包括输入图像、特征提取网络、双尺度通道注意力模块和空间金字塔注意力模块，最后通过尺度不变梯度损失进行优化。

关键创新：最重要的技术创新在于设计了DCAM和SPAM模块，分别针对高层和低层特征进行注意力机制的优化，显著提升了特征的表达能力。

关键设计：在损失函数中引入了尺度不变梯度损失，以增加对深度不连续区域的惩罚，确保预测结果的连贯性和准确性。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果表明，PFANet在KITTI数据集上的表现优于现有最先进的方法，具体提升幅度达到XX%，在深度估计的准确性和边界清晰度上均有显著改善。

🎯 应用场景

该研究在自动驾驶、机器人导航和增强现实等领域具有广泛的应用潜力。通过提高单目深度估计的精度，PFANet能够为这些应用提供更可靠的环境感知能力，推动相关技术的发展与应用。

📄 摘要（原文）

Deep convolutional neural networks (DCNNs) have achieved great success in monocular depth estimation (MDE). However, few existing works take the contributions for MDE of different levels feature maps into account, leading to inaccurate spatial layout, ambiguous boundaries and discontinuous object surface in the prediction. To better tackle these problems, we propose a Pyramid Feature Attention Network (PFANet) to improve the high-level context features and low-level spatial features. In the proposed PFANet, we design a Dual-scale Channel Attention Module (DCAM) to employ channel attention in different scales, which aggregate global context and local information from the high-level feature maps. To exploit the spatial relationship of visual features, we design a Spatial Pyramid Attention Module (SPAM) which can guide the network attention to multi-scale detailed information in the low-level feature maps. Finally, we introduce scale-invariant gradient loss to increase the penalty on errors in depth-wise discontinuous regions. Experimental results show that our method outperforms state-of-the-art methods on the KITTI dataset.