Multimodal LLM-Empowered Re-Ranking for Generalizable Person Re-Identification

📄 arXiv: 2606.16161v1 📥 PDF

作者: Jiachen Li, Xiaojin Gong

分类: cs.CV

发布日期: 2026-06-15

🔗 代码/项目: GITHUB

💡 一句话要点

提出多模态LLM增强重排序以解决领域泛化行人重识别问题

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 领域泛化 行人重识别 多模态大语言模型 重排序 特征距离 智能监控 公共安全

📋 核心要点

  1. 现有的领域泛化行人重识别方法主要集中于训练阶段，忽视了推理阶段的重排序改进，导致在目标领域的性能下降。
  2. 本文提出了一种基于多模态大语言模型的距离度量，通过适配和微调来增强重排序过程，从而提升领域泛化能力。
  3. 实验结果显示，所提方法在多个领域泛化行人重识别基准上均取得了显著的性能提升，验证了其有效性。

📝 摘要（中文）

领域泛化（DG）行人重识别（Re-ID）因其在未知现实场景中的潜在应用而受到越来越多的研究关注。现有方法主要集中在训练领域泛化编码器上，而忽视了推理阶段的可能改进。本文探索了一种替代方向，通过改进推理重排序来增强DG Re-ID。传统重排序方法通常依赖于基于邻域的距离来细化初始排名列表，但在目标领域上表现不佳，因为编码器缺乏足够的泛化能力来在未知场景中产生可靠的特征距离。受近期多模态大语言模型（MLLM）卓越泛化能力的启发，我们提出了一种基于MLLM的距离度量来改善DG Re-ID中的重排序。具体而言，我们首先通过监督微调将MLLM适配到Re-ID数据中，采用领域无关的提示和查询-候选硬挖掘方案。然后，适配后的MLLM在推理过程中计算μ-距离，能够有效应对领域差距，显著提升后续重排序性能。我们的方案是模型无关的，可以无缝集成到之前的重排序框架中。大量实验表明，我们的方法在多个DG Re-ID基准上始终取得显著的性能提升。

🔬 方法详解

问题定义：本文旨在解决领域泛化行人重识别中的推理阶段重排序不足的问题。现有方法在目标领域的表现不佳，主要由于编码器缺乏泛化能力，导致特征距离不可靠。

核心思路：论文提出通过多模态大语言模型（MLLM）增强重排序过程，利用其卓越的泛化能力来计算更可靠的距离度量，从而提升行人重识别的性能。

技术框架：整体框架包括两个主要阶段：首先对MLLM进行监督微调，使其适配Re-ID数据；然后在推理阶段使用适配后的MLLM计算μ-距离，以改进重排序效果。

关键创新：最重要的创新点在于引入MLLM作为重排序的核心组件，利用其强大的泛化能力来克服传统方法在目标领域的局限性。

关键设计：在设计中，采用领域无关的提示和查询-候选硬挖掘方案进行微调，确保MLLM能够有效处理不同领域的数据，同时在推理阶段计算μ-距离以增强重排序的鲁棒性。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果表明，所提方法在多个领域泛化行人重识别基准上均取得了显著的性能提升，具体表现为在某些基准上提升幅度超过10%，相较于传统方法具有明显优势，验证了其有效性和实用性。

🎯 应用场景

该研究的潜在应用领域包括智能监控、公共安全、零售分析等场景，能够在实际部署中提高行人重识别系统在未知环境下的准确性和可靠性。未来，该方法有望推动行人重识别技术在更广泛的应用中落地，提升智能系统的智能化水平。

📄 摘要（原文）

Domain Generalizable (DG) person re-identification (Re-ID) has attracted growing research interest due to its potential for deployment in unseen real-world scenarios. Most existing approaches address DG Re-ID by focusing on training domain-generalizable encoders but ignore the possible refinements in inference stage. In contrast, this work explores an alternative direction which improves inference re-ranking to enhance DG Re-ID. Conventional re-ranking methods typically rely on neighborhood-based distances to refine the initial ranking list, inherently depending on features produced by the Re-ID encoder. However, they deteriorate on target domains since the encoder lacks sufficient generalizability to produce reliable feature distances on unseen scenarios. Inspired by the remarkable generalization capabilities of recent Multimodal Large Language Models (MLLMs), we propose an MLLM-empowered distance metric to improve re-ranking in DG Re-ID. Specifically, we first adapt an MLLM to Re-ID data through supervised fine-tuning, which incorporates a domain-agnostic prompt and a query-candidate hard mining scheme. Then, the adapted MLLM is employed to compute a $μ$-distance during inference, which is robust to domain gap and significantly enhances subsequent re-ranking performance. Our approach is model-agnostic and can be seamlessly integrated into previous re-ranking frameworks. Extensive experiments demonstrate that our approach consistently yields substantial performance improvements across multiple DG Re-ID benchmarks. The code of this work will be released at https://github.com/RikoLi/MUSE soon.