PhotoBench: Beyond Visual Matching Towards Personalized Intent-Driven Photo Retrieval
作者: Tianyi Xu, Rong Shan, Junjie Wu, Jiadeng Huang, Teng Wang, Jiachen Zhu, Wenteng Chen, Minxin Tu, Quantao Dou, Zhaoxiang Wang, Changwang Zhang, Weinan Zhang, Jun Wang, Jianghao Lin
分类: cs.IR, cs.AI, cs.CV, cs.MM
发布日期: 2026-03-02
备注: Under review
💡 一句话要点
提出PhotoBench：一个面向个性化意图驱动的照片检索评测基准。
🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)
关键词: 照片检索 个性化推荐 多模态融合 意图驱动 评测基准
📋 核心要点
- 现有照片检索基准缺乏对个人相册中多源信息的利用，无法满足用户真实的意图驱动查询。
- 论文构建了PhotoBench基准，通过整合视觉语义、时空元数据和社会身份等多源信息，模拟真实用户查询。
- 实验表明，现有模型在处理非视觉约束和多源信息融合方面存在不足，需要更强大的代理推理系统。
📝 摘要（中文）
个人相册不仅仅是静态图像的集合，而是由时间连续性、社会关系和丰富的元数据定义的动态生态档案，这使得个性化照片检索变得非常复杂。现有的检索基准严重依赖于上下文隔离的网络快照，无法捕捉解决真实、意图驱动的用户查询所需的多源推理。为了弥合这一差距，我们推出了PhotoBench，这是第一个从真实的个人相册构建的基准。它旨在将范式从视觉匹配转变为个性化的多源意图驱动推理。基于严格的多源分析框架，该框架集成了每个图像的视觉语义、时空元数据、社会身份和时间事件，我们合成了植根于用户生活轨迹的复杂意图驱动查询。在PhotoBench上的广泛评估揭示了两个关键限制：模态差距，即统一嵌入模型在非视觉约束上崩溃；以及源融合悖论，即代理系统执行较差的工具编排。这些发现表明，个人多模态检索的下一个前沿超越了统一嵌入，需要能够精确满足约束和多源融合的强大代理推理系统。我们的PhotoBench是公开可用的。
🔬 方法详解
问题定义：现有照片检索方法主要依赖于视觉匹配，忽略了个人相册中蕴含的丰富上下文信息，如时间、地点、人物关系等。这导致无法准确理解用户的真实检索意图，尤其是在用户希望根据特定事件或回忆来查找照片时。现有基准数据集也主要基于网络图像，缺乏对个人相册特性的建模，难以评估模型在实际应用中的性能。
核心思路：论文的核心思路是构建一个更贴近真实用户场景的个性化照片检索基准，即PhotoBench。该基准不仅包含图像的视觉信息，还整合了时空元数据、社会身份和时间事件等多源信息，从而能够模拟用户更复杂的意图驱动查询。通过在该基准上评估现有方法，可以发现其在处理多模态信息和进行推理方面的不足。
技术框架：PhotoBench的构建主要包含以下几个阶段：1) 数据收集：从真实的个人相册中收集照片及其相关的元数据，包括时间戳、地理位置、人物标签等。2) 多源信息建模：对收集到的数据进行清洗和标注，提取视觉语义、时空元数据、社会身份和时间事件等特征。3) 查询生成：基于用户的生活轨迹和事件，生成复杂的意图驱动查询，例如“去年夏天在海边和朋友们一起的照片”。4) 评估指标：设计合适的评估指标，用于衡量模型在PhotoBench上的检索性能。
关键创新：PhotoBench的关键创新在于其对个人相册特性的建模和对多源信息的整合。与现有基准相比，PhotoBench更贴近真实用户场景，能够更全面地评估模型在个性化照片检索方面的能力。此外，PhotoBench还提出了一个多源分析框架，用于提取和整合图像的视觉语义、时空元数据、社会身份和时间事件等特征，为后续的查询生成和模型评估提供了基础。
关键设计：在多源信息建模方面，论文可能采用了深度学习模型来提取图像的视觉语义特征，并利用知识图谱等技术来表示人物关系和事件信息。在查询生成方面，论文可能采用了自然语言生成模型来生成复杂的意图驱动查询。在评估指标方面，论文可能采用了精确率、召回率和平均精度均值等指标来衡量模型的检索性能。
🖼️ 关键图片
📊 实验亮点
在PhotoBench上的实验表明，现有统一嵌入模型在处理非视觉约束时性能显著下降，表明存在模态差距。同时，代理系统在工具编排方面表现不佳，揭示了源融合悖论。这些发现强调了开发能够有效融合多源信息和进行复杂推理的检索系统的必要性。
🎯 应用场景
该研究成果可应用于智能相册管理、个性化照片推荐、社交媒体内容检索等领域。通过理解用户的检索意图，可以更准确地找到用户想要的照片，提升用户体验。未来，该研究还可以扩展到其他类型的个人数据管理，例如个人笔记、邮件等。
📄 摘要（原文）
Personal photo albums are not merely collections of static images but living, ecological archives defined by temporal continuity, social entanglement, and rich metadata, which makes the personalized photo retrieval non-trivial. However, existing retrieval benchmarks rely heavily on context-isolated web snapshots, failing to capture the multi-source reasoning required to resolve authentic, intent-driven user queries. To bridge this gap, we introduce PhotoBench, the first benchmark constructed from authentic, personal albums. It is designed to shift the paradigm from visual matching to personalized multi-source intent-driven reasoning. Based on a rigorous multi-source profiling framework, which integrates visual semantics, spatial-temporal metadata, social identity, and temporal events for each image, we synthesize complex intent-driven queries rooted in users' life trajectories. Extensive evaluation on PhotoBench exposes two critical limitations: the modality gap, where unified embedding models collapse on non-visual constraints, and the source fusion paradox, where agentic systems perform poor tool orchestration. These findings indicate that the next frontier in personal multimodal retrieval lies beyond unified embeddings, necessitating robust agentic reasoning systems capable of precise constraint satisfaction and multi-source fusion. Our PhotoBench is available.