OPERA: Aligning Open-Ended Reasoning via Objective Perplexity-based Reinforcement Learning
作者: Wenxuan Jiang, Zining Fan, Zijian Zhang, Xuecheng Wu, Hongming Tan, Haoyang Dai, Xiaoyu Li, Xuezhi Cao, Ninghao Liu
分类: cs.CL
发布日期: 2026-06-24
备注: 21 pages, 8 figures
🔗 代码/项目: GITHUB
💡 一句话要点
提出OPERA以解决开放式推理任务中的不稳定监督问题
🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture)
关键词: 开放式推理 强化学习 困惑度 内在奖励 数据合成 逻辑一致性 大型语言模型 推理对齐
📋 核心要点
- 现有的强化学习方法在开放式任务中应用时，常因奖励模型的不稳定性导致推理结果不一致。
- OPERA通过引入基于困惑度的内在奖励，替代外部评判者，从而实现更稳定的监督和推理过程。
- 在Qwen3-8B模型上实现OPERA后，取得了新的开源模型最优性能，在某些开放式任务中超越了Gemini2.5和MiniMax-M2.5等专有模型。
📝 摘要（中文）
强化学习（RL）使大型语言模型（LLM）在目标推理任务中表现出色，但在开放式任务（如创意写作）中应用RL仍面临挑战。现有的LLM作为评判者的奖励模型常常表现出风格偏见和位置不一致，导致监督不稳定。为此，本文提出OPERA（基于客观困惑度的反思对齐），用内在奖励替代不可靠的外部评判者，内在奖励源自困惑度动态，量化关键反思状态下的不确定性降低。通过引入数据合成方法和困惑度优先的回放策略，生成了包含20,000条高质量推理轨迹的大规模数据集。实验结果表明，该方法在开放式任务对齐中具有良好的可扩展性和有效性。
🔬 方法详解
问题定义：本文旨在解决开放式推理任务中，现有强化学习方法因外部奖励模型不稳定而导致的推理结果不一致的问题。
核心思路：通过引入基于困惑度的内在奖励，量化关键反思状态下的不确定性降低，从而替代不可靠的外部评判者，提升推理过程的稳定性。
技术框架：整体架构包括数据合成、困惑度优先的回放策略和内在奖励计算三个主要模块。数据合成利用精心设计的引导词生成多样化的推理轨迹，回放策略则通过内部对数概率识别逻辑一致的推理分支。
关键创新：最重要的技术创新在于通过困惑度动态生成内在奖励信号，显著提高了开放式任务的对齐效果，与传统方法相比，减少了对外部评判者的依赖。
关键设计：在数据合成阶段，设计了特定的引导词以生成多样化的推理轨迹；在奖励计算中，利用困惑度动态来量化不确定性降低，确保奖励信号的有效性。实验中使用了20,000条高质量推理轨迹以验证方法的有效性。
🖼️ 关键图片
📊 实验亮点
实验结果表明，实施OPERA后，Qwen3-8B模型在开放式任务中达到了新的开源模型最优性能，部分任务的表现超越了Gemini2.5和MiniMax-M2.5，显示出显著的提升幅度。
🎯 应用场景
该研究的潜在应用领域包括创意写作、自动代码生成和其他开放式推理任务。通过提供更稳定的推理监督，OPERA可以帮助提升生成模型在复杂任务中的表现，具有广泛的实际价值和未来影响。
📄 摘要（原文）
Reinforcement Learning (RL) has enabled LLMs to excel in objective reasoning tasks such as mathematics and code generation. However, applying RL to open-ended tasks, such as creative writing, remains challenging because LLM-as-a-judge reward models often exhibit stylistic biases and positional inconsistencies, leading to unstable supervision. To address this, we propose OPERA (Objective Perplexity-based Reflective Alignment), which replaces unreliable external judges with intrinsic rewards derived from perplexity dynamics. Specifically, we derive an intrinsic reward signal from perplexity dynamics, quantifying uncertainty reduction at critical reflective states. During the cold-start phase, we introduce a data synthesis method that leverages carefully designed guiding words to generate diverse reasoning traces, along with perplexity-prioritized rollouts that utilize internal log-probabilities to identify logically consistent reasoning branches. This pipeline yields a large-scale dataset comprising 20,000 high-quality reasoning trajectories. Empirical evaluations consistently demonstrate the scalability and efficacy of our approach in alignment for open-ended tasks. Implementing OPERA on Qwen3-8B establishes a new state-of-the-art among open-source models, achieving parity with or surpassing proprietary models like Gemini2.5 and MiniMax-M2.5 in some open-ended tasks. The code is available at https://github.com/pangpang-xuan/OPERA.