A2DINOv3: Rethinking Multi-Modal Object Detection via Socialized Collaboration

📄 arXiv: 2608.21099v1 📥 PDF

作者: Jiekang Feng, Zhihe Fan, Yunqi Zhu, Xinjie Yao, Yueying Zhang, Yike Gao, Ranxin Li, Guanzuo Chen

分类: cs.CV, cs.AI

发布日期: 2026-08-21

💡 一句话要点

提出A2DINOv3以解决多模态目标检测中的信息冗余问题

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture) 支柱三：空间感知与语义 (Perception & Semantics) 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 多模态目标检测 社会化学习 跨模态融合 DINOv3 深度学习 计算机视觉 智能监控 无人驾驶

📋 核心要点

  1. 现有的多模态目标检测方法在处理异构模态时，容易引入冗余信息，导致性能下降。
  2. 本文提出A2DINOv3框架，通过社会化协作协议实现异构模态的选择性交互，保持各自的专业知识。
  3. 在四个多模态基准测试上，A2DINOv3展现了优越的性能，持续达到最先进的检测效果。

📝 摘要（中文）

多模态目标检测在低光和恶劣环境下对场景理解至关重要。尽管现有的视觉基础模型（如DINOv3）展现了强大的表示能力，但将其适应于多模态场景仍然具有挑战性。现有的密集跨模态融合策略往往强迫异构模态无差别交互，可能引入冗余信息并破坏有价值的预训练表示。为了解决这一问题，本文从社会化学习的角度重新审视多模态融合，提出了适配DINOv3的框架（A2DINOv3），并引入了社会化协作协议（SCP）。该框架将RGB和红外分支建模为独立的异构专家，通过选择性和受限的交互交换互补信息，从而减少有害的跨模态干扰。实验结果表明，A2DINOv3在多个多模态基准测试中均表现出色。

🔬 方法详解

问题定义：本文旨在解决多模态目标检测中异构模态交互导致的信息冗余和性能下降问题。现有方法往往强迫模态间无差别交互，影响了预训练表示的有效性。

核心思路：A2DINOv3通过引入社会化协作协议（SCP），将RGB和红外模态视为独立的专家，允许它们在保持专业知识的同时进行选择性信息交换，从而减少跨模态干扰。

技术框架：该框架包括两个主要分支：RGB和红外，采用选择性交互机制进行信息共享。通过零初始化策略，逐步激活跨模态协作，实现从模态特定学习到合作表示学习的平滑过渡。

关键创新：A2DINOv3的核心创新在于其社会化协作协议，允许模态间的有选择性交互，避免了传统方法中的信息冗余，保持了预训练模型的有效性。

关键设计：在设计中，采用了零初始化策略以控制跨模态协作的激活过程，确保了模型在训练初期的稳定性和有效性。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

在四个多模态基准测试中，A2DINOv3均表现出色，尤其在无人驾驶（FLIR）和低光监控（LLVIP）任务上，性能提升幅度超过了现有最先进方法，展现了显著的检测精度和鲁棒性。

🎯 应用场景

A2DINOv3的研究成果在多个领域具有广泛的应用潜力，包括无人驾驶、低光监控和航空检测等场景。通过提升多模态目标检测的准确性和鲁棒性，该方法能够在复杂环境中提供更可靠的场景理解，推动智能监控和自动驾驶技术的发展。

📄 摘要（原文）

Multi-modal object detection is essential for robust scene understanding in challenging conditions, including low-light and adverse environments. Recent vision foundation models (e.g., DINOv3) have exhibited strong representation capabilities, yet adapting them to multi-modal scenarios remains challenging. Existing dense cross-modal fusion strategies often force heterogeneous modalities to interact indiscriminately, which may introduce redundant information and disrupt the valuable pre-trained representations. To address this issue, we revisit multi-modal fusion from the perspective of socialized learning and propose adapter to DINOv3 (A2DINOv3), a multi-expert collaboration framework with a Socialized Collaboration Protocol (SCP). Specifically, RGB and infrared branches are modeled as heterogeneous experts that independently preserve their specialized knowledge while exchanging complementary information through selective and constrained interactions. This design mitigates harmful cross-modal interference and prevents degradation of pre-trained priors during adaptation. Furthermore, a zero-initialization strategy is introduced to gradually activate cross-modal collaboration, enabling a smooth transition from modality-specific learning to cooperative representation learning. Extensive experiments on four multi-modal benchmarks, including aerial detection (GAIIC), autonomous driving (FLIR), low-light surveillance (LLVIP), and diverse real-world scenarios (M3FD), demonstrate that A2DINOv3 consistently achieves state-of-the-art performance in multi-modal object detection.