Trustworthy Self-Attention: Enabling the Network to Focus Only on the Most Relevant References
作者: Yu Jing, Tan Yujuan, Ren Ao, Liu Duo
分类: cs.CV
发布日期: 2024-03-01 (更新: 2024-03-27)
备注: Correct Figure 1
💡 一句话要点
提出可信自注意力机制以解决光流预测中的遮挡问题
🎯 匹配领域: 支柱三：空间感知与语义 (Perception & Semantics)
关键词: 光流预测 遮挡处理 自注意力机制 计算机视觉 深度学习
📋 核心要点
- 现有光流预测方法在处理遮挡点时，依赖单幅图像的视觉特征，导致网络聚焦于错误的参考点。
- 本文提出了一种利用在线遮挡识别信息构建遮挡扩展视觉特征的方法，增强了网络对相关参考点的聚焦能力。
- 实验结果显示，本文方法在Sintel Albedo pass上相较于最先进的GMA-base方法，分别在所有点、非遮挡点和遮挡点上减少了18.6%、16.2%和20.1%的误差。
📝 摘要（中文）
光流预测中遮挡点的估计仍然是一个未解决的难题。现有方法依赖于自注意力机制寻找相关的非遮挡点作为参考，但由于仅依赖单幅图像的视觉特征和弱约束，导致网络无法有效聚焦于错误和弱相关的参考点。本文充分利用在线遮挡识别信息，构建了遮挡扩展视觉特征和两个强约束，使网络能够专注于最相关的参考点，而无需遮挡真值参与训练。实验表明，该方法在多个数据集上具有优越的泛化能力，并在Sintel基准测试中取得了最优性能。
🔬 方法详解
问题定义：本文旨在解决光流预测中遮挡点的估计问题。现有方法依赖于单幅图像的视觉特征，缺乏有效的约束，导致网络无法准确聚焦于相关的参考点，尤其是在遮挡情况下。
核心思路：本文提出利用在线遮挡识别信息，构建遮挡扩展视觉特征，并引入两个强约束，使网络能够专注于最相关的参考点，而不需要遮挡真值参与训练。这样的设计旨在提高网络的准确性和鲁棒性。
技术框架：整体架构包括输入图像的特征提取、遮挡识别模块、遮挡扩展视觉特征构建和自注意力机制。通过这些模块，网络能够有效识别和利用非遮挡点的信息。
关键创新：最重要的技术创新在于引入在线遮挡识别信息和强约束机制，使得网络能够在没有遮挡真值的情况下，专注于最相关的参考点。这一方法显著提升了光流预测的准确性。
关键设计：在网络结构上，本文方法仅增加了少量参数，保持了轻量化的特性。损失函数设计上，结合了遮挡识别信息和参考点的相关性，确保网络学习到有效的特征表示。
🖼️ 关键图片
📊 实验亮点
实验结果表明，本文方法在Sintel Albedo pass上相较于最先进的GMA-base方法，分别在所有点、非遮挡点和遮挡点上减少了18.6%、16.2%和20.1%的误差。此外，在Sintel基准测试中，本文模型在所有已发布方法中排名第一，展现了卓越的性能。
🎯 应用场景
该研究在计算机视觉领域具有广泛的应用潜力，尤其是在自动驾驶、视频监控和增强现实等场景中，能够提高运动物体的跟踪和分析能力。未来，该方法的轻量化特性也可能推动其在移动设备上的应用。
📄 摘要（原文）
The prediction of optical flow for occluded points is still a difficult problem that has not yet been solved. Recent methods use self-attention to find relevant non-occluded points as references for estimating the optical flow of occluded points based on the assumption of self-similarity. However, they rely on visual features of a single image and weak constraints, which are not sufficient to constrain the trained network to focus on erroneous and weakly relevant reference points. We make full use of online occlusion recognition information to construct occlusion extended visual features and two strong constraints, allowing the network to learn to focus only on the most relevant references without requiring occlusion ground truth to participate in the training of the network. Our method adds very few network parameters to the original framework, making it very lightweight. Extensive experiments show that our model has the greatest cross-dataset generalization. Our method achieves much greater error reduction, 18.6%, 16.2%, and 20.1% for all points, non-occluded points, and occluded points respectively from the state-of-the-art GMA-base method, MATCHFlow(GMA), on Sintel Albedo pass. Furthermore, our model achieves state-of-the-art performance on the Sintel bench-marks, ranking #1 among all published methods on Sintel clean pass. The code will be open-source.