PailitaoMMSearch2.0 Technical Report: Scaling Generative Retrieval to Unified End-to-End Multimodal Search
作者: Xiaohan Ye, Zihan Gong, Jingqian Zhao, Lianyu Du, Yunmeng Shu, Xu Chen, Zesheng Zhou, Renchun You, Bocheng Chen, Jinsong Lan, Haihong Tang, Bo Zheng
分类: cs.IR, cs.AI
发布日期: 2026-10-27
备注: PailitaoMMSearch2.0 Technical Report
💡 一句话要点
提出PailitaoMMSearch以解决多模态检索统一性问题
🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture) 支柱九：具身大模型 (Embodied Foundation Models)
关键词: 多模态检索 生成检索 电商搜索 强化学习 数据扩展 意图识别 在线测试
📋 核心要点
- 现有的生成检索模型通常局限于特定场景，无法灵活应对多样化的查询和意图。
- 本文提出PailitaoMMSearch，构建统一的多模态搜索系统，支持开放式图像-文本查询。
- 实验结果显示，系统在商品页面浏览量、交易量和商品总值等方面均有显著提升。
📝 摘要（中文）
生成检索模型在搜索和推荐系统中的应用日益广泛。然而，现有的工业生成检索模型通常专注于特定的在线场景，限制了查询形式和检索目标的多样性。本文研究如何消除这些限制，构建一个统一的端到端多模态搜索系统，支持开放式的图像-文本查询和异构购物意图。我们提出了PailitaoMMSearch，能够直接从原始查询图像和自由格式指令生成产品语义ID，并在数据、意图和场景三个维度上进行扩展。通过在线A/B测试，系统在多个关键指标上实现了显著提升。
🔬 方法详解
问题定义：现有的生成检索模型往往专注于特定的在线场景，导致其在处理多样化查询和意图时存在局限性。这种专门化使得模型无法灵活适应不同的用户需求和资源约束。
核心思路：本文提出的PailitaoMMSearch旨在构建一个统一的端到端多模态搜索系统，能够处理开放式的图像-文本查询。通过消除场景特定的限制，系统能够更好地适应不同的购物意图和在线场景。
技术框架：该系统的架构包括三个主要模块：数据扩展、意图扩展和场景扩展。数据扩展通过可重用工具集实现冷启动合成和质量控制；意图扩展通过持续预训练和混合预算监督微调来增强模型的电商产品知识；场景扩展则通过优化模型容量和推理预算来平衡质量与成本。
关键创新：最重要的创新在于通过持续预训练和统一强化学习相结合的方式，逐步提升模型的意图识别能力和推理效率。这种方法与传统的单一场景优化方法有本质区别。
关键设计：在模型训练中，采用了意图平衡优化和样本-束回放策略，以适应多候选服务的需求。此外，关键参数设置和损失函数的设计也经过精心调整，以确保模型在不同场景下的表现。
🖼️ 关键图片
📊 实验亮点
通过控制在线A/B测试，PailitaoMMSearch在多个关键指标上实现了显著提升：商品页面浏览量增加17.90%，交易量提高27.04%，商品总值增长8.94%。这些结果表明该系统在实际应用中的有效性和潜力。
🎯 应用场景
PailitaoMMSearch的研究成果可广泛应用于电商平台的多模态搜索系统，提升用户体验和转化率。该系统的灵活性和适应性使其能够满足不同用户的购物需求，未来可能在更多领域如社交媒体和内容推荐中发挥重要作用。
📄 摘要（原文）
Generative retrieval models have been increasingly adopted in search and recommendation systems. However, industrial generative retrieval models are commonly specialized to a fixed online scenario: they learn from scenario-specific interactions, support a narrow set of query forms and retrieval objectives. We study how to remove these couplings and build a unified end-to-end multimodal search system for open-ended image--text queries, heterogeneous shopping intents, and online scenarios with different resource constraints. We present \textbf{PailitaoMMSearch}, which directly generates product Semantic IDs from a raw query image and free-form instruction and scales along three dimensions. \textbf{Data scaling} uses a reusable toolset that can be composed into intent- and lifecycle-specific workflows for cold-start synthesis, quality control, real-traffic refinement, and continuous data production. \textbf{Intent scaling} progressively equips one model with e-commerce product knowledge, multiple retrieval relations, and adjustable reasoning budgets through continual pre-training (CPT), mixed-budget supervised fine-tuning (SFT), and unified reinforcement learning (RL). The RL stage combines intent-balanced optimization and Sample--Beam rollouts aligned with multi-candidate serving. \textbf{Scenario scaling} exposes quality--cost operating points across model capacity and reasoning budget. The system is deployed in multimodal search applications on Taobao Pailitao. A controlled online A/B test reports statistically significant improvements, including item page views $\textbf{+17.90\%}$, transactions $\textbf{+27.04\%}$, and gross merchandise value $\textbf{+8.94\%}$.