Designing Reward Signals for Portable Query Generation: A Case Study in Industrial Semantic Job Search
作者: Ping Liu, Qianqi Shen, Jianqiang Shen, Wenqiong Liu, Rajat Arora, Yunxiang Ren, Chunnan Yao, Dan Xu, Baofen Zheng, Wanjun Jiang, Andrii Soviak, Kevin Kao, Jingwei Wu, Wenjing Zhang
分类: cs.LG
发布日期: 2026-06-25
备注: Accepted to KDD 2026 Workshop on AI Agent for Information Retrieval (Agent4IR)
💡 一句话要点
提出RLAIF框架以优化工业语义职位搜索的查询生成
🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture)
关键词: 职位搜索 强化学习 奖励信号 查询生成 工业应用 机器学习 数据优化
📋 核心要点
- 现有的职位搜索方法在低带宽查询接口下，难以有效捕捉候选人资料的复杂性，导致信息损失。
- 本文提出了一种基于RLAIF的框架，通过优化奖励信号生成可移植的职位搜索查询，旨在提高查询的有效性和准确性。
- 实验结果表明，采用稳健的奖励塑造可以显著提升性能，训练时间奖励模型的引入使得性能提升达到2.4倍。
📝 摘要（中文）
职位搜索平台依赖低带宽查询接口，常常无法捕捉候选人资料的高维复杂性。本文提出了一种端到端的RLAIF（来自AI反馈的强化学习）框架，用于生成“可移植”的职位搜索查询，抽象化求职者特定标识符，同时保留可泛化的资格。这一任务引入了高度对抗的奖励表面，政策优化常常利用LLM作为评判标准的缺陷，导致重复复制行为。通过全面的实证实验，我们证明了对于无评判者的优化器，性能主要受稳健奖励塑造的影响，而算法的具体选择则相对不重要。
🔬 方法详解
问题定义：本文旨在解决现有职位搜索查询生成方法在低带宽环境下无法有效捕捉候选人复杂性的痛点，导致信息损失和查询质量低下。
核心思路：提出了一种基于RLAIF的框架，通过设计可移植的查询生成方法，优化奖励信号以避免重复复制行为，从而提升查询的有效性。
技术框架：整体架构包括数据输入模块、奖励信号生成模块、策略优化模块和评估模块，形成一个闭环的查询生成与优化流程。
关键创新：引入了稳健的奖励塑造机制，特别是通过确定性规则基础奖励底线来纠正对重复复制的奖励分配，从而显著提高了查询生成的质量。
关键设计：在设计中，采用了无评判者的优化方法（如RLOO和REINFORCE++），并通过实验验证了不同奖励信号对性能的影响，确保了优化过程的稳定性和有效性。
📊 实验亮点
实验结果显示，采用稳健奖励塑造的策略使得查询生成质量提升了0.147，且训练时间奖励模型的引入使得性能提升达到2.4倍。这表明优化奖励信号在提升查询生成效果中的关键作用。
🎯 应用场景
该研究的潜在应用领域包括招聘平台、求职者匹配系统和人力资源管理工具。通过优化查询生成，能够提高职位搜索的效率和准确性，帮助求职者更好地找到合适的职位，同时也为招聘方提供更精准的候选人推荐，具有重要的实际价值和未来影响。
📄 摘要（原文）
Job-search platforms rely on low-bandwidth query interfaces that often fail to capture the high-dimensional complexity of candidate profiles. We present an end-to-end RLAIF (Reinforcement Learning from AI Feedback) framework to generate \emph{portable} job search queries, terms that abstract away seeker-specific identifiers while preserving generalizable qualifications. This task introduces a highly adversarial reward surface where policy optimization frequently exploits flaws in LLM-as-judge rubrics, resulting in degenerate verbatim-copying behaviors. We conducted comprehensive empirical experiments to isolate the impact of optimization mechanics against structured reward engineering. Our results demonstrate that for critic-free optimizers, performance is overwhelmingly dictated by robust reward shaping, rendering the specific choice of algorithm largely immaterial. While critic-free per-rollout baseline methods (RLOO and REINFORCE++) natively resist reward-hacking, the group-relative advantage normalization in GRPO appears uniquely sensitive to spurious reward signals, making it disproportionately susceptible to exploitation. We show that introducing a deterministic, rule-based reward floor to correct for rewards assigned to verbatim copying mitigates this failure mode, resulting in a substantial $+0.147$ quality improvement on a cross-family evaluation judge. Ultimately, we show that the training-time reward model inflates performance gains by $2.4\times$, confirming that the training success is fundamentally dependent on enforcing reward-shaping disciplines rather than selecting alternative optimizers.