CoRe: A Continuously Reward-Finetuned LLM Query Rewriter for Multi-Stage Context-Aware Relevance in Web-Scale Video Search
作者: Yilin Wen, Rong Yang, Xiaojia Chang, Hong Sun, Gefu Tang, Chunhui Liu, Jeffrey Chen, Zeyu Ma, Lisong Qiu, Xiaochuan Fan, Congjia Yu, Quan Zhou, Yuheng Chen, Zian Wang
分类: cs.IR, cs.CL
发布日期: 2026-06-12
备注: 12 pages, 3 figures
💡 一句话要点
提出CoRe以解决视频搜索中的查询重写问题
🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture) 支柱九：具身大模型 (Embodied Foundation Models)
关键词: 查询重写 多模态相关性 持续部署 优化算法 视频搜索 人工智能 机器学习
📋 核心要点
- 现有的查询重写方法在训练奖励与生产排序器的消费方式之间存在矛盾，导致效果不佳。
- CoRe系统通过使用已部署的多模态相关性模型作为奖励来源，解决了这一矛盾，并实现了每周的持续重新部署。
- 实验结果显示，CoRe在重写影响的查询上显著降低了变更查询率，所有相关性和参与度指标均朝着预期方向发展。
📝 摘要（中文）
基于大型语言模型的查询重写器在生产中面临着一个矛盾：训练奖励必须反映重写在生产排序器中的消费方式，同时训练过程必须足够便宜，以支持数据漂移下的持续重新部署。我们提出了CoRe（上下文相关性），该系统在一个主要的短视频搜索引擎中每周重新部署超过五个月。我们的奖励使用已部署的多模态相关性模型作为来源，并采用乘法比率形式，反映生产融合代数，缩小了离线奖励代理留下的模拟-生产差距。半在线混合偏好优化循环使得这种奖励在每周数百万实例的规模下变得可承受。
🔬 方法详解
问题定义：本论文旨在解决大型语言模型（LLM）查询重写器在生产环境中的训练奖励与实际消费之间的矛盾，现有方法难以在数据漂移下进行有效的持续部署。
核心思路：提出CoRe系统，通过使用已部署的多模态相关性模型作为奖励来源，采用乘法比率形式来缩小模拟与生产之间的差距，从而实现高效的查询重写。
技术框架：CoRe系统包括一个半在线混合偏好优化循环，使用DPO风格的成对目标限制梯度传递到小的top-k/bottom-k子集，并通过阶段结构减少训练者与推理服务器的参数同步频率。
关键创新：最大的技术创新在于将生产环境中的多模态相关性模型直接用于奖励计算，解决了传统方法中离线奖励代理的不足，确保了训练与实际应用的一致性。
关键设计：在参数设置上，采用了小规模的样本轨迹进行优化，损失函数设计为成对比较，网络结构则通过阶段性同步来提高效率，确保了系统在每周数百万实例的规模下的可行性。
🖼️ 关键图片
📊 实验亮点
实验结果表明，CoRe在两次连续的生产发布中，首次在细排阶段部署重写器，随后扩展到召回和原始排名阶段，显著降低了重写影响查询的变更查询率，所有相关性和参与度指标均向预期方向发展，显示出统计学上的显著性。
🎯 应用场景
该研究的潜在应用领域主要集中在短视频搜索引擎和其他需要高效查询重写的多模态检索系统中。通过提升查询重写的相关性和效率，CoRe能够显著改善用户体验，增加用户参与度，并为未来的智能搜索系统提供重要的技术支持。
📄 摘要（原文）
LLM-based query rewriters in production face a tension: the training reward must reflect how the rewrite is consumed by the production ranker, yet the training procedure must be cheap enough to support continuous redeployment as data drifts. We present CoRe (Context Relevance), such a system, redeployed weekly for over five months in a major short-video search engine. Our reward uses the deployed multimodal relevance model as its source and a multiplicative ratio form mirroring the production fusion algebra, closing the simulation-production gap that offline reward proxies leave open. A semi-online Mixed Preference Optimization loop makes this reward affordable at multi-million-instance weekly scale: a DPO-style pairwise objective restricts the gradient pass to a small top-k/bottom-k subset of sampled trajectories, and a phase structure reduces trainer/inference-server parameter syncs from per-step to per-phase. An automated promotion gate over reward-like and stability metrics detected and recovered from a real reward-hacking incident in production. Rewriter output is consumed as parallel relevance signals at recall, rawrank, and finerank without displacing the original signals, bounding rewriter-failure blast radius. Online A/B from two sequential production launches, first deploying the rewriter at finerank, then extending consumption to recall and rawrank, delivers statistically significant reductions in change-query rate on rewrite-impacted queries, with all headline relevance and engagement metrics moving in the expected direction.