REAR: Test-time Preference Realignment through Reward Decomposition

📄 arXiv: 2606.30339v1 📥 PDF

作者: Fuxiang Zhang, Pengcheng Wang, Chenran Li, Yi-Chen Li, Yuxin Chen, Lang Feng, Chenfeng Xu, Masayoshi Tomizuka, Bo An

分类: cs.CL, cs.LG

发布日期: 2026-06-29

备注: Accepted by ICML 2026

💡 一句话要点

提出REAR框架以解决用户偏好对齐问题

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 用户偏好对齐 奖励函数分解 测试时缩放 大型语言模型 个性化推荐 人机交互 智能助手

📋 核心要点

  1. 现有方法在对齐大型语言模型与用户偏好时面临数据整理和训练成本高的问题。
  2. 论文提出通过将奖励函数分解为两个部分，构建REAR框架以实现偏好对齐。
  3. 实验结果显示，REAR在多样化用户需求下表现优越，且能推广至其他任务。

📝 摘要（中文）

对齐大型语言模型（LLMs）与多样化用户偏好是一项关键且具有挑战性的任务。尽管后训练方法可以适应特定需求，但通常需要昂贵的数据整理和额外训练。测试时缩放（TTS）提供了一种高效的无训练替代方案，但其应用主要限于可验证领域，如数学和编码。为扩展TTS到偏好对齐，我们提出了一种新颖的框架，将任务建模为重新对齐问题。我们的关键见解是将基础奖励函数分解为与问题和偏好信息相关的两个组件，从而推导出选择性重新缩放这两个奖励项比例的REAlignment Reward（REAR）。实验表明，与其他测试时基线相比，REAR不仅能够在多样化用户需求下实现可扩展的测试时重新对齐，还能在适当的偏好设置下推广到数学和视觉任务。

🔬 方法详解

问题定义：本论文旨在解决大型语言模型在对齐用户偏好时的不足，现有方法往往需要大量数据和训练，限制了其应用场景。

核心思路：我们提出将任务视为重新对齐问题，通过分解奖励函数来实现偏好对齐，从而提高模型的适应性和灵活性。

技术框架：整体架构包括两个主要模块：奖励函数分解和REAR计算。首先将奖励函数分解为与问题和偏好信息相关的两个部分，然后通过线性组合计算REAR。

关键创新：REAR的核心创新在于通过奖励函数的分解与重新缩放，解决了传统方法在偏好对齐中的局限性，使得模型能够在测试时灵活调整。

关键设计：在设计中，我们采用了基于token级别的策略日志概率的线性组合，确保计算效率高且易于与现有的TTS算法（如best-of-$N$采样和树搜索）集成。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果表明，REAR在偏好对齐任务中相比其他测试时基线具有显著提升，能够在多样化用户需求下实现可扩展的对齐效果，并在数学和视觉任务中表现出良好的泛化能力。

🎯 应用场景

该研究的潜在应用领域包括个性化推荐系统、智能助手和人机交互等。通过有效对齐用户偏好，REAR框架能够提升用户体验，促进更自然的交互方式，未来可能在多个行业中产生深远影响。

📄 摘要（原文）

Aligning large language models (LLMs) with diverse user preferences is a critical yet challenging task. While post-training methods can adapt models to specific needs, they often require costly data curation and additional training. Test-time scaling (TTS) presents an efficient, training-free alternative, but its application has been largely limited to verifiable domains like mathematics and coding, where response correctness is easily judged. To extend TTS to preference alignment, we introduce a novel framework that models the task as a realignment problem, since the base model often fails to sufficiently align with the stated preference. Our key insight is to decompose the underlying reward function into two components: one related to the question and the other to preference information. This allows us to derive a REAlignment Reward (REAR) that selectively rescales the proportions of these two reward terms. We then show that REAR can be formulated as a linear combination of token-level policy log-probabilities, making it computationally efficient and easy to integrate with various TTS algorithms such as best-of-$N$ sampling and tree search. Experiments show that compared to other test-time baselines, REAR not only enables scalable test-time realignment for preference alignment tasks under diverse user requirements, but also generalizes to mathematical and visual tasks under appropriate preference settings.