TriDifNet: A Unified Three-Task Diffusion Network for End-to-End RGB-T Perception

📄 arXiv: 2610.37097v1 📥 PDF

作者: Qianchao He, Jing Liu, Yunhao Li, Xiaoqing Tian

分类: cs.CV

发布日期: 2026-10-27

备注: 16 pages, 6 figures

💡 一句话要点

提出TriDifNet以解决RGB-T行人感知中的多任务优化问题

🎯 匹配领域: 支柱三：空间感知与语义 (Perception & Semantics)

关键词: RGB-T感知 多模态融合 行人检测 扩散网络 闭环优化 深度学习 计算机视觉

📋 核心要点

  1. 现有RGB-T感知方法在处理错位图像时面临注册错误传播的问题，影响后续的融合和检测效果。
  2. TriDifNet通过引入三任务扩散网络，联合优化注册、融合和检测，提升了行人感知的准确性。
  3. 在KAIST基准测试中，TriDifNet在错位RGB-T设置下实现了65.44%的召回率和57.55%的mAP$_{50}$，表现优于现有方法。

📝 摘要（中文）

红外-可见（IR-VIS）多模态感知在复杂光照条件下支持稳健的场景理解。然而，由于平台运动、视角变化和模态依赖失真，红外和可见图像常常存在错位，导致注册错误在后续融合和检测阶段传播。为此，我们提出了TriDifNet，这是一种统一的三任务扩散网络，旨在实现端到端的RGB-T感知。TriDifNet首次将注册、融合和检测三项任务联合优化，包含注册扩散模块、融合扩散模块和检测扩散模块。通过大量实验，TriDifNet在KAIST多光谱行人基准测试中表现出色，达到了65.44%的召回率和57.55%的mAP$_{50}$。

🔬 方法详解

问题定义：论文旨在解决红外和可见图像在行人感知任务中由于错位导致的注册和检测性能下降的问题。现有方法在处理多模态数据时，常常无法有效对齐图像，导致后续的融合和检测效果不佳。

核心思路：TriDifNet的核心思路是通过三任务扩散网络，联合优化图像注册、融合和行人检测。该设计使得不同任务之间能够相互促进，从而提高整体性能。

技术框架：TriDifNet由三个主要模块组成：注册扩散模块（RegDM）、融合扩散模块（FusDM）和检测扩散模块（DetDM）。RegDM负责将未对齐的红外图像对齐到光学参考，FusDM生成检测导向的融合表示，DetDM则将行人检测视为边界框空间中的迭代去噪过程。

关键创新：TriDifNet的最大创新在于首次将扩散模型应用于RGB-T行人感知的三项任务联合优化，形成闭环优化机制，使得检测语义能够引导融合和注册，同时融合结果又能进一步正则化几何对齐。

关键设计：论文采用了阶段性渐进训练策略和轻量级的Nash多任务学习（Nash-MTL）进行后期优化，以平衡注册、融合和检测的优化过程。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

在KAIST多光谱行人基准测试中，TriDifNet在错位RGB-T设置下实现了65.44%的召回率、57.55%的mAP${50}$和26.83%的mAP${50:95}$，显著优于其他强竞争对手，展示了其在多任务优化方面的卓越性能。

🎯 应用场景

该研究的潜在应用领域包括智能监控、自动驾驶和安防系统等，能够在复杂光照条件下提供更为准确的行人检测与识别。随着多模态传感器技术的发展，TriDifNet的设计理念和方法论将对未来的多模态感知系统产生深远影响。

📄 摘要（原文）

Infrared--visible (IR--VIS) multi-modal perception supports robust scene understanding under challenging illumination. Infrared and visible images are often misaligned due to platform motion, viewpoint changes, and modality-dependent distortions, causing registration errors to propagate into subsequent fusion and detection stages. We propose TriDifNet, a unified three-task diffusion network for end-to-end RGB-T perception. To the best of our knowledge, TriDifNet is the first diffusion-based network that jointly optimizes registration, fusion, and detection for misaligned RGB-T pedestrian perception. TriDifNet consists of three diffusion-based modules, i.e., the Registration Diffusion Module (RegDM), the Fusion Diffusion Module (FusDM), and the Detection Diffusion Module (DetDM). RegDM aligns the unaligned infrared image to the optical reference by estimating a dense deformation field. FusDM performs residual conditional diffusion to generate a detection-oriented fused representation with optical structural cues and complementary infrared saliency. DetDM formulates pedestrian detection as an iterative denoising process in bounding-box space. To couple the three tasks, TriDifNet introduces a closed-loop optimization mechanism, where detection semantics guide fusion and registration, and the fusion result further regularizes geometric alignment. A stage-wise progressive training strategy and a lightweight Nash multi-task learning (Nash-MTL)-based late-stage refinement are further adopted to balance registration, fusion, and detection optimization. Extensive experiments on the KAIST multispectral pedestrian benchmark show that TriDifNet achieves superior downstream detection performance under misaligned RGB-T settings. Against strong system-level competitors, TriDifNet achieves 65.44\% Recall, 57.55\% mAP${50}$, and 26.83\% mAP${50:95}$.