Reusable Architecture Growth for Continual Stereo Matching

📄 arXiv: 2404.00360v1 📥 PDF

作者: Chenghao Zhang, Gaofeng Meng, Bin Fan, Kun Tian, Zhaoxiang Zhang, Shiming Xiang, Chunhong Pan

分类: cs.CV

发布日期: 2024-03-30

备注: Extended version of CVPR 2022 paper "Continual Stereo Matching of Continuous Driving Scenes with Growing Architecture" - Accepted to TPAMI in 2024

💡 一句话要点

提出可重用架构增长框架以解决持续立体匹配问题

🎯 匹配领域: 支柱三：空间感知与语义 (Perception & Semantics)

关键词: 持续学习 立体匹配 深度估计 神经网络 架构增长 自监督学习 自动驾驶 机器人导航

📋 核心要点

  1. 现有立体匹配方法在处理新场景时容易遗忘之前学习的内容，缺乏持续学习能力。
  2. 本文提出的可重用架构增长框架通过重用已有单元，实现了新场景的持续学习与推理。
  3. 在多个数据集上的实验表明，该方法在复杂环境下的表现超越了现有技术，具有良好的适应性。

📝 摘要（中文）

近年来，立体深度估计模型的显著性能得益于卷积神经网络在稠密视差回归中的成功应用。然而，实际应用中训练样本通常是连续获取的，因此持续学习新场景的能力变得尤为重要。为此，本文提出了持续立体匹配的框架，旨在实现模型的持续学习、克服遗忘以及在推理时持续预测视差。我们引入了可重用架构增长（RAG）框架，通过任务特定的神经单元搜索和架构增长，支持在监督和自监督方式下持续学习新场景。实验结果表明，该框架在各种天气、道路和城市环境下表现优异，并在更具挑战性的跨数据集设置中超越了现有最先进的方法。

🔬 方法详解

问题定义：本文解决的是在持续立体匹配任务中，如何有效地学习新场景并避免遗忘已学场景的问题。现有方法通常在新数据到来时会遗忘之前的知识，导致性能下降。

核心思路：我们提出的可重用架构增长（RAG）框架，通过动态增长网络架构并重用已有的神经单元，支持模型在监督和自监督的条件下持续学习新场景。这样的设计使得模型在扩展时能够保持高效性和准确性。

技术框架：RAG框架主要包括两个模块：任务特定的神经单元搜索和架构增长。前者用于识别和选择适合当前任务的网络单元，后者则负责在学习新场景时扩展网络架构。此外，我们还引入了场景路由模块，以适应性地选择特定场景的架构路径进行推理。

关键创新：本文的主要创新在于提出了可重用架构增长的概念，通过重用已有单元来实现架构的动态扩展，这与传统方法在面对新任务时完全重训练的方式形成了鲜明对比。

关键设计：在模型设计中，我们采用了特定的损失函数以平衡新旧知识的学习，并通过优化网络结构来提高模型的推理效率。

📊 实验亮点

实验结果显示，RAG框架在多种天气和城市环境下的表现超过了现有最先进的方法，尤其是在跨数据集设置中，性能提升幅度达到XX%。该方法在未见场景的适应性实验中也表现出色，验证了其实际应用潜力。

🎯 应用场景

该研究的潜在应用领域包括自动驾驶、机器人导航和增强现实等场景，能够在动态环境中实现高效的深度估计。通过持续学习新场景，该方法可以显著提升模型在实际部署中的适应性和鲁棒性，具有重要的实际价值和未来影响。

📄 摘要（原文）

The remarkable performance of recent stereo depth estimation models benefits from the successful use of convolutional neural networks to regress dense disparity. Akin to most tasks, this needs gathering training data that covers a number of heterogeneous scenes at deployment time. However, training samples are typically acquired continuously in practical applications, making the capability to learn new scenes continually even more crucial. For this purpose, we propose to perform continual stereo matching where a model is tasked to 1) continually learn new scenes, 2) overcome forgetting previously learned scenes, and 3) continuously predict disparities at inference. We achieve this goal by introducing a Reusable Architecture Growth (RAG) framework. RAG leverages task-specific neural unit search and architecture growth to learn new scenes continually in both supervised and self-supervised manners. It can maintain high reusability during growth by reusing previous units while obtaining good performance. Additionally, we present a Scene Router module to adaptively select the scene-specific architecture path at inference. Comprehensive experiments on numerous datasets show that our framework performs impressively in various weather, road, and city circumstances and surpasses the state-of-the-art methods in more challenging cross-dataset settings. Further experiments also demonstrate the adaptability of our method to unseen scenes, which can facilitate end-to-end stereo architecture learning and practical deployment.