Action-Aligned Retrieval with Pairwise Multimodal Reranking for Text-Based Person Anomaly Search
作者: Thanh-Khoi Nguyen, Thanh-Nhan Vo, Trong-Thuan Nguyen, Minh-Triet Tran
分类: cs.CV
发布日期: 2026-08-24
备注: Accepted to the AI City workshop @ ECCV 2026
💡 一句话要点
提出ActPair以解决文本驱动的人物异常搜索问题
🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)
关键词: 人物异常检测 多模态检索 动作对齐 视觉-语言模型 重排序算法
📋 核心要点
- 现有方法在捕捉上下文相关的动作时存在不足，常常忽视细节，导致性能下降。
- 本文提出ActPair框架，通过动作对齐检索与成对多模态重排序来解决上述问题。
- 实验结果显示，ActPair在行人异常行为测试集上表现优异，并能有效迁移到其他数据集。
📝 摘要（中文）
文本驱动的人物异常搜索需要根据细粒度、上下文相关的行为来区分个体，而不仅仅依赖外观。现有方法在捕捉这些上下文条件的动作时存在困难，常常依赖孤立的骨架几何，忽视了重构过程中的原始查询细节，或使用绝对点对点评分进行多模态验证。为了解决这些局限性，本文提出了ActPair，一个统一的三阶段粗到细框架，结合了动作对齐检索与成对多模态重排序，以弥合姿态与语义之间的差距。通过大量实验，证明该框架在行人异常行为公共测试集上取得了最佳结果，并有效迁移到未见的非异常特定数据集。
🔬 方法详解
问题定义：本文旨在解决文本驱动的人物异常搜索中，如何有效区分个体的细粒度行为的问题。现有方法往往依赖于孤立的骨架几何，无法充分利用上下文信息，导致性能不足。
核心思路：ActPair框架通过引入动作对齐的多任务目标，鼓励模型编码动作区分语义，从而提升检索效果。该设计旨在保留原始查询和上下文重写中的互补信息。
技术框架：整体框架分为三个主要阶段：首先，微调视觉-语言模型（VLM）以编码动作语义；其次，进行并行的晚融合检索，结合原始查询和大型语言模型（LLM）生成的上下文重写；最后，使用高效的重排序模块，通过枢轴-促进算法进行成对视觉比较。
关键创新：最重要的创新在于引入了成对多模态重排序机制，能够直接进行视觉比较，减少了空间和组合模糊性，同时避免了全面评估的高昂推理成本。
关键设计：在模型训练中，采用了动作对齐的多任务损失函数，确保模型在不同任务间共享有用的特征。此外，重排序模块的设计考虑了计算效率，使用了枢轴-促进算法以优化性能。
🖼️ 关键图片
📊 实验亮点
在Pedestrian Anomaly Behavior (PAB)公共测试集上，ActPair框架的表现优于所有对比方法，具体性能提升幅度达到XX%，并且在未见的非异常特定数据集上也展现了良好的迁移能力，验证了其广泛适用性。
🎯 应用场景
该研究在视频监控、智能安防和人机交互等领域具有广泛的应用潜力。通过提高人物异常行为的检索精度，可以有效提升安全监控系统的响应能力和智能化水平，未来可能对城市安全管理和公共安全领域产生深远影响。
📄 摘要（原文）
Text-based person anomaly search requires distinguishing individuals based on fine-grained, context-dependent behaviors rather than mere appearance. Existing methods struggle to capture these context-conditioned actions, frequently relying on isolated skeletal geometry, discarding raw query details during reformulation, or utilizing absolute pointwise scoring for multimodal verification. To address these limitations, we propose \textbf{ActPair}, a unified three-stage coarse-to-fine framework that combines action-aligned retrieval with pairwise multimodal reranking to bridge the pose-semantic gap. First, we fine-tune a vision-language model (VLM) with an action-aligned multi-task objective that encourages the representations to encode action-discriminative semantics. Second, we perform parallel late-fusion retrieval using the original query and a large language model (LLM)-generated context-grounded rewrite, retaining complementary details from both semantic views. Finally, we propose an efficient off-the-shelf reranking module that leverages a pivot-promote algorithm to perform direct pairwise visual comparisons, mitigating residual spatial and compositional ambiguities without the prohibitive inference costs of exhaustive evaluation. Extensive experiments demonstrate that our framework achieves the best results among the compared methods on the Pedestrian Anomaly Behavior (PAB) public test and transfers effectively to an unseen, non-anomaly-specific dataset.