FaLCon: Facet-Anchored Retrieval with Late Consensus for Sim2Real Text-Based Person Anomaly Search
作者: Hieu Dinh Trung Pham, Phuong Huu Vu Tran, Thuan Duc Mai, Son Nguyen Minh Le, Khang Le Minh, Hoang Vo, Minh-Chi Phung, Huy Minh Nhat Nguyen, Cuong Tuan Nguyen
分类: cs.CV
发布日期: 2026-08-10
备注: accepted to the ECCV 2026 AI City Challenge Workshop
💡 一句话要点
提出FaLCon以解决文本驱动的行人异常搜索问题
🎯 匹配领域: 支柱一：机器人控制 (Robot Control) 支柱九：具身大模型 (Embodied Foundation Models)
关键词: 文本驱动检索 行人异常检测 多模态学习 Sim2Real 深度学习 图像检索 语义匹配
📋 核心要点
- 现有方法在Sim2Real设置下，难以处理视觉相似但行为细微不同的行人图像检索问题。
- 本文提出了一种锚点约束的粗到细检索框架，结合全局语义匹配与细粒度验证，提升检索精度。
- 实验结果表明，所提方法在PAB基准上实现了95.41%的mAP@10，显著优于传统检索方法。
📝 摘要（中文）
基于文本的行人异常搜索需要从详细的自然语言描述中检索现实世界的行人图像，而这些模型主要是在合成数据上训练的。在Sim2Real的设置中，视觉上相似的候选者可能仅在细微的动作、物体交互或外观属性上有所不同，同时对整个图像库应用多模态大型语言模型的计算成本较高。为此，本文提出了一种锚点约束的粗到细检索框架，结合了全局语义匹配与细粒度验证。通过对查询的多种语义面进行整合，最终在PAB基准测试中实现了86.44%的mAP@10，整体框架进一步提升至95.41%的mAP@10，显示出该方法在细粒度Sim2Real行人异常搜索中的有效性。
🔬 方法详解
问题定义：本文旨在解决基于文本的行人异常搜索中，如何从合成数据训练的模型中有效检索现实世界图像的问题。现有方法在处理视觉相似但行为细微不同的候选者时存在困难，同时对整个图像库进行多模态语言模型的计算开销较大。
核心思路：论文提出了一种锚点约束的粗到细检索框架，通过结合全局语义匹配与细粒度验证，旨在提高检索的准确性和效率。通过将查询表示为原始标题、结构化连接和多个语义面，增强了检索的多样性和准确性。
技术框架：整体架构包括多个主要模块：首先是查询的多种表示形式，其次是通过强大的每查询评分校准和软声明感知融合整合异构视觉-语言检索器，最后通过Qwen3重排序器和两个补充的语义验证模块进行候选池的精细化。
关键创新：本文的主要创新在于提出了锚点约束的检索方法，通过结合全局检索与细粒度验证，显著提高了在复杂场景下的检索性能。这种方法与传统的单一检索方法相比，能够更好地处理模糊查询。
关键设计：在设计中，使用了全称和连接标题作为锚点，以保持候选者的召回率，同时通过外观、动作和物体面提供有界的纠正证据。此外，采用了不确定性门控共识模块，能够自适应地对模糊查询的三个专家进行重加权。
🖼️ 关键图片
📊 实验亮点
实验结果显示，所提的软声明感知检索方法在PAB基准上达到了86.44%的mAP@10，整体框架进一步提升至95.41%的mAP@10，94.44%的R@1和99.09%的R@5，显著优于各个单独的检索骨干，验证了方法的有效性。
🎯 应用场景
该研究的潜在应用领域包括智能监控、公共安全和人机交互等场景，能够有效提升基于文本的图像检索系统的性能，具有重要的实际价值。未来，该方法可能在更广泛的多模态检索任务中发挥作用，推动相关技术的发展。
📄 摘要（原文）
Text-based person anomaly search requires retrieving real-world pedestrian images from detailed natural-language descriptions using models trained primarily on synthetic data. This Sim2Real setting is particularly challenging because visually similar candidates may differ only in subtle actions, object interactions, or appearance attributes, while applying multimodal large language models to the entire gallery is computationally expensive. We propose an anchor-constrained coarse-to-fine retrieval framework that combines global semantic matching with fine-grained verification. First, each query is represented by its original caption, a structured concatenation, and several semantic facets. Heterogeneous vision-language retrievers are then integrated through robust per-query score calibration and soft claim-aware fusion. Full and concatenated captions serve as anchors to preserve candidate recall, whereas appearance, action, and object facets provide bounded corrective evidence. The resulting candidate pool is further refined by a discriminative Qwen3 reranker and two complementary semantic verification modules based on anomaly-aware cloze completion and multi-agent evidence reasoning. Finally, an uncertainty-gated consensus module adaptively reweights the three experts on ambiguous queries. Experiments on the PAB benchmark show that the proposed soft claim-aware retrieval achieves 86.44% mAP@10, substantially outperforming individual retrieval backbones. The complete framework further improves performance to 95.41% mAP@10, 94.44% R@1, and 99.09% R@5. These results demonstrate that preserving strong global retrieval while restricting expensive semantic reasoning to a small candidate pool is effective for fine-grained Sim2Real person anomaly search. Our code will be available on Github.