Learning Preference Adaptation for Large Language Model Personalization via Verbal Reinforcement Learning
作者: Yuting Liu, Wei Wu, Jianzhe Zhao, Guibing Guo
分类: cs.CL, cs.AI
发布日期: 2026-08-10
💡 一句话要点
提出AlignXada以解决LLM个性化中的任务特定偏好适应问题
🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture) 支柱九：具身大模型 (Embodied Foundation Models)
关键词: 大型语言模型 个性化 偏好适应 元学习 强化学习
📋 核心要点
- 现有的通用偏好摘要往往包含与特定任务无关的信息，导致上下文容量浪费和任务干扰。
- 本文提出AlignXada，通过无训练的元学习框架，优化文本精炼策略以适应任务特定偏好。
- 实验结果显示，AlignXada在多个任务和模型中显著提升性能，同时有效减少了原始偏好令牌的使用。
📝 摘要（中文）
自然语言用户偏好为大型语言模型（LLM）的个性化提供了可解释的接口。然而，通用偏好摘要通常包含与特定下游任务无关的信息，直接提供完整的偏好摘要会浪费上下文容量并引入跨任务干扰。本文研究了任务特定偏好适应，提出了AlignXada，一个无训练的元学习框架，通过语言强化学习优化文本精炼策略，将通用偏好摘要适应为任务特定的摘要。在13个任务和三个下游模型的实验中，AlignXada平均提升3.82分，改善了33个任务-模型组合，同时仅保留22.8%的原始偏好令牌，并在36个组合中超越了RAG。扩展的可信度分析表明，精炼后的偏好仍然与源偏好大体一致，同时保留了任务相关的个性化信号，表明偏好侧适应为终身个性化代理的通用记忆构建提供了实用补充。
🔬 方法详解
问题定义：本文旨在解决通用用户偏好摘要在特定下游任务中信息冗余的问题。现有方法难以有效提取与任务相关的决策证据，导致上下文容量浪费和跨任务干扰。
核心思路：AlignXada的核心思路是通过无训练的元学习框架，生成可重用的文本精炼策略，以适应特定任务的偏好表示。通过语言强化学习，逐步优化精炼策略，以保留决策相关的证据并去除冗余信息。
技术框架：AlignXada的整体架构包括两个主要模块：元学习器和文本精炼策略生成器。元学习器负责通过语言强化学习优化策略，而文本精炼策略生成器则将通用偏好摘要转化为任务特定的摘要。
关键创新：AlignXada的主要创新在于其无训练的元学习框架，能够在不需要大量标注数据的情况下，自动生成适应特定任务的偏好摘要。这一方法与传统的手动设计任务特定视图的方式本质上不同。
关键设计：在设计中，AlignXada采用了迭代优化的策略，结合了语言模型的输出和用户偏好的源信息。损失函数设计上强调了保留任务相关信息的重要性，同时减少冗余上下文的影响。
🖼️ 关键图片
📊 实验亮点
实验结果显示，AlignXada在13个任务和三个下游模型中平均提升了3.82分，改善了33个任务-模型组合，并在36个组合中超越了RAG，同时仅保留了22.8%的原始偏好令牌，展现出显著的性能提升。
🎯 应用场景
该研究的潜在应用领域包括个性化对话系统、推荐系统和智能助手等。通过有效适应用户偏好，AlignXada能够提升用户体验，增强系统的智能化水平。未来，该方法有望在终身学习和个性化代理的构建中发挥重要作用。
📄 摘要（原文）
Natural language user preferences provide an interpretable interface for LLM personalization. However, universal preference summaries often contain information irrelevant to a particular downstream task. Directly supplying the full preference summary therefore wastes context capacity and introduces cross-task distraction, while manually designing task-specific preference views is difficult to scale. In this work, we study \emph{task-specific preference adaptation}: given a universal user preference summary and a downstream task, derive a task-conditioned representation that preserves sufficient decision-relevant evidence while removing redundant context. To this end, we propose \textsc{AlignXada}, a training-free meta-learning framework that induces reusable textual refinement policies for adapting universal preference summaries to task-specific ones. The refinement policy is iteratively optimized by a meta learner through verbal reinforcement learning. Across 13 tasks and three downstream models (39 task--model cells), \textsc{AlignXada} achieves an average gain of 3.82 points, improving 33 cells while retaining only 22.8\% of the original profile tokens and outperforming RAG in 36 cells. An extended faithfulness analysis further shows that the refined profiles remain largely grounded in the source preferences while preserving task-relevant personalization signals, suggesting that profile-side adaptation serves as a practical complement to universal memory construction for lifelong personalized agents.