A Vanilla Multi-Task Framework for Dense Visual Prediction Solution to 1st VCL Challenge -- Multi-Task Robustness Track

📄 arXiv: 2402.17319v1 📥 PDF

作者: Zehui Chen, Qiuchen Wang, Zhenyu Li, Jiaming Liu, Shanghang Zhang, Feng Zhao

分类: cs.CV

发布日期: 2024-02-27

备注: Technical Report

💡 一句话要点

提出UniNet框架以解决视觉持续学习中的多任务鲁棒性问题

🎯 匹配领域: 支柱三：空间感知与语义 (Perception & Semantics)

关键词: 多任务学习 视觉持续学习 深度学习 3D物体检测 实例分割 深度估计 视觉感知 模型集成

📋 核心要点

  1. 现有的视觉任务模型往往难以在多任务环境中保持鲁棒性，尤其是在处理复杂场景时。
  2. 我们提出的UniNet框架通过整合多种视觉算法，形成一个统一的多任务学习模型，提升了任务间的协同效应。
  3. 在SHIFT验证集上，UniNet模型取得了49.6的总分，显著提升了各项任务的性能，展示了其有效性。

📝 摘要（中文）

在本报告中，我们展示了针对2023年ICCV研讨会第一届视觉持续学习（VCL）挑战的多任务鲁棒性赛道的解决方案。我们提出了一种名为UniNet的基础框架，能够无缝结合多种视觉感知算法，形成一个多任务模型。具体而言，我们选择DETR3D、Mask2Former和BinsFormer分别用于3D物体检测、实例分割和深度估计任务。最终提交的模型使用InternImage-L作为主干网络，在SHIFT验证集上取得了49.6的总分（检测mAP为29.5，mTPS为80.3，分割mAP为46.4，silog为7.93）。此外，我们在实验中提供了一些有趣的观察，这可能有助于多任务学习在密集视觉预测中的发展。

🔬 方法详解

问题定义：本研究旨在解决视觉持续学习中的多任务鲁棒性问题。现有方法在多任务学习时，往往面临任务间干扰和性能不均衡的挑战。

核心思路：我们提出的UniNet框架通过整合DETR3D、Mask2Former和BinsFormer等多种视觉算法，形成一个统一的多任务模型，以提高任务间的协同效应和整体性能。

技术框架：UniNet的整体架构包括多个模块，分别针对3D物体检测、实例分割和深度估计任务。每个模块通过共享特征提取网络（InternImage-L）进行信息交互，从而增强模型的学习能力。

关键创新：UniNet的主要创新在于其基础框架的设计，使得不同视觉任务能够在同一模型中高效协作，克服了传统方法中任务间的干扰问题。

关键设计：在模型设计中，我们采用了InternImage-L作为主干网络，并对损失函数进行了优化，以适应多任务学习的需求。各个任务的性能指标（如mAP和mTPS）均经过精心调节，以确保模型在不同任务上的平衡表现。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

在实验中，UniNet模型在SHIFT验证集上取得了49.6的总分，其中检测mAP为29.5，mTPS为80.3，分割mAP为46.4，silog为7.93。这些结果表明，UniNet在多任务学习中表现出色，显著优于传统方法。

🎯 应用场景

该研究的潜在应用领域包括自动驾驶、机器人视觉和增强现实等场景。在这些领域中，能够同时处理多个视觉任务的能力将显著提升系统的智能化水平和适应性。未来，UniNet框架有望推动多任务学习在更广泛的视觉应用中的发展与应用。

📄 摘要（原文）

In this report, we present our solution to the multi-task robustness track of the 1st Visual Continual Learning (VCL) Challenge at ICCV 2023 Workshop. We propose a vanilla framework named UniNet that seamlessly combines various visual perception algorithms into a multi-task model. Specifically, we choose DETR3D, Mask2Former, and BinsFormer for 3D object detection, instance segmentation, and depth estimation tasks, respectively. The final submission is a single model with InternImage-L backbone, and achieves a 49.6 overall score (29.5 Det mAP, 80.3 mTPS, 46.4 Seg mAP, and 7.93 silog) on SHIFT validation set. Besides, we provide some interesting observations in our experiments which may facilitate the development of multi-task learning in dense visual prediction.