GEOALIGN: Geometric Rollout Curation for Robust LLM Reinforcement Learning
作者: Ting Zhou, Zhenqing Ling, Yiyang Zhao, Ying Shen, Daoyuan Chen
分类: cs.LG, cs.AI
发布日期: 2026-06-25
备注: Accepted as a conference paper at ICML 2026
💡 一句话要点
提出Geoalign以解决大语言模型强化学习中的方向不一致问题
🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture) 支柱九：具身大模型 (Embodied Foundation Models)
关键词: 大语言模型 强化学习 方向一致性 在线学习 对话系统 数学推理 奖励信号 模型稳定性
📋 核心要点
- 现有的在线强化学习方法在面对噪声或错误指定的奖励时，训练过程常常不稳定，导致性能下降。
- 本文提出的Geoalign通过形成偏好对和在线投影器，集中奖励有序的位移方向，从而解决方向不一致的问题。
- 实验结果表明，Geoalign在对话对齐和数学推理任务中显著提高了性能，并减少了训练过程中的波动。
📝 摘要（中文）
在线强化学习广泛用于将大语言模型（LLMs）与奖励信号对齐，但在噪声或错误指定的奖励下，训练可能不稳定。本文识别了一种称为方向不一致的失败模式：在一个批次中，一小部分高奖励的回放会导致表示空间偏好方向与批次大多数 sharply disagree，从而导致高方差和不稳定的更新。为此，本文提出了Geoalign，一个轻量级的回放策划插件，旨在迭代策略优化中使用。Geoalign通过形成内部提示偏好对、学习在线投影器以集中奖励有序位移方向，并通过与批次共识原型的角度偏差检测方向不一致的回放并用内部提示稳定替代方案进行修正。Geoalign仅需前向传递，增加的开销微乎其微。在对话对齐和数学推理的实验中，Geoalign显著提高了最终性能并减少了训练波动，超越了PF-PPO、PAR、PODS和Seed-GRPO等基线。这些结果表明潜在的方向共识是在线LLM强化学习的有效可靠信号。
🔬 方法详解
问题定义：本文旨在解决在线强化学习中由于方向不一致导致的训练不稳定问题。现有方法在处理高奖励回放时，可能会引入高方差的更新，从而影响模型性能。
核心思路：Geoalign的核心思路是通过形成内部提示偏好对和学习在线投影器，集中奖励有序的位移方向，并检测和修正方向不一致的回放，以提高训练的稳定性和可靠性。
技术框架：Geoalign的整体架构包括三个主要模块：首先，形成内部提示偏好对；其次，学习每个回放的在线投影器，以集中奖励有序的位移方向；最后，通过与批次共识原型的角度偏差检测方向不一致的回放，并用稳定的替代方案进行修正。
关键创新：Geoalign的主要创新在于其轻量级设计和前向传递的实现方式，能够在不增加显著计算开销的情况下，显著提高训练的稳定性和最终性能。
关键设计：在设计中，Geoalign使用了特定的损失函数来优化奖励有序的位移方向，并通过角度偏差来识别和修正方向不一致的回放，确保了模型在训练过程中的一致性和稳定性。
🖼️ 关键图片
📊 实验亮点
实验结果显示，Geoalign在对话对齐和数学推理任务中显著提升了模型性能，超越了PF-PPO、PAR、PODS和Seed-GRPO等多个基线方法，具体提升幅度未知，表明其在在线LLM强化学习中的有效性。
🎯 应用场景
该研究的潜在应用领域包括自然语言处理、对话系统和自动推理等。Geoalign的设计可以帮助提高大语言模型在复杂任务中的训练稳定性和最终性能，具有重要的实际价值和广泛的应用前景。
📄 摘要（原文）
Online reinforcement learning is widely used to align large language models (LLMs) with reward signals, yet training can be unstable under noisy or misspecified rewards. We identify a failure mode we call directional inconsistency: within a batch, a small set of high-reward rollouts induces representation-space preference directions that sharply disagree with the batch majority, resulting in high-variance and destabilizing updates. We propose geoalign, a lightweight plug-in for rollout curation in iterative policy optimization. Geoalign (i) forms within-prompt preference pairs, (ii) learns an online projector on per-rollout hidden states to concentrate reward-ordered displacement directions, and (iii) detects directionally inconsistent rollouts via their angular deviation from a batch consensus prototype and rectifies them with within-prompt stable alternatives. Geoalign is forward-pass only and adds negligible overhead. Across dialogue alignment with a learned reward model and mathematical reasoning with binary verified rewards, Geoalign improves final performance and reduces training oscillation, outperforming PF-PPO, PAR, PODS, and Seed-GRPO. These results suggest latent directional consensus as an effective reliability signal for online LLM RL.