UPSHIFT: User Preference Steering from Human-AI Interaction Feedback Traces

📄 arXiv: 2611.02667v1 📥 PDF

作者: Jingping Wang, Zhanhao Li, Shao Zhang, Shuyue Hu

分类: cs.AI

发布日期: 2026-11-02

💡 一句话要点

提出UPSHIFT以解决个性化语言模型助手的用户偏好问题

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 个性化助手 用户偏好 人机交互 反馈轨迹 无监督学习

📋 核心要点

  1. 个性化语言模型助手面临的挑战在于如何有效捕捉用户的隐性偏好，现有方法往往依赖显式的偏好标签或复杂的模型更新。
  2. UPSHIFT通过分析用户的反馈轨迹，提取出可重用的个性化信号，避免了对交互历史的实时访问和模型参数的更新。
  3. 在与40名模拟用户的评估中，UPSHIFT在多个测试配置下均显著提高了偏好对齐度，最佳配置的宏平均Elo分数提升了近240分。

📝 摘要（中文）

个性化大型语言模型助手需要根据用户的个体需求调整其响应，包括内容选择、推理方式、细节水平和呈现形式。这些偏好通常是潜在的，仅在用户对初始回答作出反馈并请求修订时显现。我们研究了如何将这些反馈轨迹转化为可重用的个性化信号，而无需显式的偏好配置文件或标签、对交互历史的实时访问或模型参数更新。我们提出了UPSHIFT（用户偏好引导方法），该方法在每个会话中比较初始响应和反馈条件响应的隐藏表示，平均用户会话中的轨迹位移，并在回答新查询时注入聚合的偏好方向。我们在PrefEval上验证了UPSHIFT的偏好表示能力。

🔬 方法详解

问题定义：本论文旨在解决如何在没有显式偏好配置文件的情况下，利用用户与AI交互的反馈轨迹来实现个性化响应的问题。现有方法通常依赖于复杂的模型更新和实时访问交互历史，限制了其灵活性和可扩展性。

核心思路：UPSHIFT的核心思路是通过比较用户在会话中的初始响应与反馈条件响应的隐藏表示，提取出用户的偏好方向。这种方法基于隐性偏好假设，认为用户在不同会话中的反馈变化能够反映出其对响应调整的期望。

技术框架：UPSHIFT的整体架构包括三个主要阶段：首先，收集用户的初始响应和反馈；其次，计算这些响应的隐藏表示并进行比较；最后，将聚合的偏好方向注入到新查询的响应中。

关键创新：UPSHIFT的主要创新在于其训练无关性，能够在不更新模型参数的情况下，通过用户反馈轨迹实现个性化。这与传统方法依赖显式标签和模型更新的方式有本质区别。

关键设计：UPSHIFT在实现过程中采用了轨迹位移的平均计算方法，确保了用户偏好的聚合和重用。此外，模型的设计避免了复杂的参数调整，使得方法更加轻量化。

🖼️ 关键图片

fig_0
fig_1

📊 实验亮点

在与40名模拟用户的实验中，UPSHIFT的每个测试配置均在未引导的基线之上显著提高了偏好对齐度。最佳配置的宏平均Elo分数从1364.0提升至1605.2，Qwen3-32B模型的分数从1341.9提升至1591.8，显示出该方法在个性化响应中的有效性。

🎯 应用场景

UPSHIFT的研究成果在个性化语言助手、智能客服系统和教育技术等领域具有广泛的应用潜力。通过有效捕捉用户偏好，该方法能够提升用户体验，使得AI助手能够更好地满足个体需求。未来，该技术可能推动更智能的交互系统的发展，提升人机交互的自然性和效率。

📄 摘要（原文）

Personalizing large language model assistants requires adapting their responses to individual users, including the selection of content, reasoning approach, level of detail, and form of presentation. Such preferences are often latent, becoming visible only when users respond to an initial answer and request revisions. We investigate whether these feedback trajectories can be converted into a reusable personalization signal without explicit preference profiles or labels, prompt-time access to interaction histories, or model parameter updates. We introduce UPSHIFT (User Preference Steering from Human-AI Interaction Feedback Traces), a training-free method that compares the hidden representations of initial and feedback-conditioned responses within each session, averages the resulting trajectory displacements across a user's sessions, and injects the aggregated preference direction when answering a new query. The method is motivated by the implicit-preference hypothesis: although an individual conversational transition may reflect topic progression or task-specific correction, changes that recur across sessions retain a component that captures how the user wants responses to be adjusted. We validate the preference-representation capability of UPSHIFT on PrefEval. In evaluations with 40 simulated users, every tested configuration improves preference alignment over the unsteered baseline on held-out topics for both Qwen3-8B and Qwen3-32B; the best configuration increases macro-averaged Elo from 1364.0 to 1605.2 and from 1341.9 to 1591.8, respectively. Matched-user and positive-versus-negative controls further demonstrate that these gains arise from the user-specific preference direction and its learned orientation. These results show that interaction histories can provide compact, reusable supervision for lightweight personalization.