SERPO: Self-Evolving Rubric Policy Optimization for Open-Ended Test-Time Reinforcement Learning

📄 arXiv: 2607.26873v1 📥 PDF

作者: Jianze Wang, Kunwang Zheng, Ying Liu, Yu Cao, Qilong Zhang, Jinlong Chen, Hua Yang, Qianglong Chen

分类: cs.CL

发布日期: 2026-07-29

备注: 20 pages, including appendix

💡 一句话要点

提出SERPO以解决开放式生成中的自我演化问题

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture)

关键词: 自我演化 强化学习 开放式生成 评分标准 策略优化 模型适应性

📋 核心要点

  1. 现有的测试时强化学习方法依赖答案投票，无法处理开放式生成的有效响应。
  2. SERPO通过自我演化评分策略优化，构建闭环系统，提升模型在推理时的自适应能力。
  3. 在HealthBench和ResearchQA等基准测试中，SERPO分别提升了20.63和20.31分，宏平均提升达8.06分。

📝 摘要（中文）

测试时强化学习（TTRL）使语言模型能够在推理时自我演化，而无需标记反馈。现有方法依赖于答案投票，无法自然扩展到开放式生成中。为此，本文提出了SERPO（自我演化评分策略优化），通过构建闭环系统，协同演化响应证据、特定查询的评分标准和策略参数。SERPO在多个基准测试中显著提升了模型性能，支持开放式转移和跨基准演化。

🔬 方法详解

问题定义：本文旨在解决开放式生成中缺乏有效反馈的问题。现有方法依赖答案投票，无法处理无法映射到共享标准答案的有效响应，导致适应性不足。

核心思路：SERPO的核心思想是通过自我演化机制，构建一个闭环系统，协同演化响应证据、评分标准和策略参数，以实现更高效的自适应学习。

技术框架：SERPO的整体架构包括三个主要模块：响应演化（Good-Normal-Bad分类）、评分标准演化（保留有效标准）和策略演化（优化行为者）。这些模块通过闭环机制相互作用，形成动态演化过程。

关键创新：SERPO的创新在于用闭环机制替代传统的答案投票，允许模型根据自身输出构建可靠的奖励信号，从而实现自我适应。

关键设计：在设计中，采用了概率标准评分机制，将判决令牌的可能性转换为奖励信号，同时在响应演化中组织最大分离的回滚数据，以便更好地进行归档和评估。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

SERPO在HealthBench和ResearchQA基准测试中分别提升了20.63和20.31分，宏平均提升达8.06分，显示出其在开放式生成任务中的显著性能优势，支持开放式转移和跨基准演化。

🎯 应用场景

SERPO的研究成果可广泛应用于开放式生成任务，如对话系统、自动问答和内容创作等领域。其自我演化能力能够提升模型在无监督环境下的适应性，具有重要的实际价值和未来影响。

📄 摘要（原文）

Test-time reinforcement learning (TTRL) enables language models to self-evolve at inference time without labeled feedback. Existing methods rely on answer voting and therefore do not extend naturally to open-ended generation, where valid responses cannot be mapped to a shared canonical answer. Without external reward models or stronger judges, adaptation must instead construct reliable rewards from the model's own outputs. We introduce SERPO (Self-Evolving Rubric Policy Optimization), which replaces answer voting with a closed loop that co-evolves response evidence, query-specific rubrics, and policy parameters. Good-Normal-Bad (G-N-B) response evolution organizes maximally separated rollouts into ordered archives; rubric evolution retains criteria that discriminate these archives; probabilistic criterion scoring converts verdict-token likelihoods into reward signals; and policy evolution optimizes the actor with the resulting signals. New actor rollouts then refresh both the archives and rubrics, closing the three-way evolution loop. Across two model configurations, two in-domain benchmarks, and four OOD benchmarks, SERPO improves HealthBench and ResearchQA by up to 20.63 and 20.31 points over the corresponding base models, raises the six-benchmark macro-average by up to 8.06 points, and supports OOD transfer and continued cross-benchmark evolution.