DRIFTLENS: Measuring Memory-Induced Reasoning Drift in Personalized Language Models

📄 arXiv: 2607.02374 📥 PDF

作者: Xi Fang, Weijie Xu, Yingqiang Ge, Yuhui Xu, Stephanie Eckman, Chandan K. Reddy

分类: cs.AI

发布日期: 2026-07-05

💡 一句话要点

提出DRIFTLENS以测量个性化语言模型中的推理漂移

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture) 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 个性化语言模型 推理漂移 DRIFTLENS 用户属性记忆 后训练方法 开放式问题 模型评估

📋 核心要点

  1. 个性化语言模型在推理过程中可能引入不必要的偏差，导致用户体验下降。
  2. 提出DRIFTLENS框架，通过量化推理步骤的偏差，分析个性化记忆对推理轨迹的影响。
  3. 实验结果表明，用户属性记忆引发的推理漂移显著，且后训练方法对漂移的影响因模型而异。

📝 摘要（中文）

个性化改变了模型对用户的响应，同时也改变了用于支持这些响应的推理轨迹。现代大型语言模型通过存储用户属性、偏好和先前上下文来个性化交互，并将这些信息注入未来的提示中。本文研究了这种记忆是否会重塑在开放式问题上的推理轨迹。为量化这一效应，提出了DRIFTLENS框架，该框架将每个推理步骤映射到一个值类别，并测量无记忆轨迹与注入用户属性记忆的轨迹之间的偏差。研究发现，用户属性记忆在推理上引发了中到大的漂移，尽管最终答案仍然流畅且合理。还评估了基于GRPO和DPO的后训练方法来减少漂移，结果表明这两种方法均能减少漂移，但效果因模型和奖励而异。

🔬 方法详解

问题定义：本文旨在解决个性化语言模型在推理过程中可能引入的偏差问题。现有方法未能有效量化这种记忆对推理轨迹的影响，导致用户体验不一致。

核心思路：DRIFTLENS框架通过将推理步骤映射到值类别，量化无记忆与有记忆推理轨迹之间的偏差，从而揭示个性化记忆对推理的影响。

技术框架：DRIFTLENS的整体架构包括数据收集、推理步骤分类、偏差测量和结果分析四个主要模块。首先收集用户属性数据，然后对推理步骤进行分类，最后计算不同轨迹之间的偏差。

关键创新：DRIFTLENS的创新在于其无需真实答案的框架设计，使得推理漂移的量化成为可能。这与传统方法依赖于真实答案的评估方式有本质区别。

关键设计：在DRIFTLENS中，推理步骤的分类采用了多层次的值类别映射，损失函数设计为最小化推理轨迹之间的偏差，同时考虑到模型的流畅性和合理性。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果显示，用户属性记忆引发的推理漂移在四个大型语言模型中均表现为中到大的偏差，超出模型的实用噪声阈值。此外，后训练方法在减少漂移方面表现出一定效果，但未能在所有模型中一致优于其他方法，显示出模型和奖励机制的依赖性。

🎯 应用场景

该研究的潜在应用领域包括个性化对话系统、智能助手和教育技术等。通过量化推理漂移，开发者可以更好地理解和优化模型的个性化能力，从而提升用户体验和满意度。未来，该方法可能推动个性化语言模型的进一步研究与应用，促进更智能的交互系统的开发。

📄 摘要（原文）

Personalization changes what a model says to a user; we show that it can also change the reasoning trajectory used to justify the response. Modern LLMs personalize interactions by storing user attributes, preferences, and prior context, then injecting this information into future prompts. We study whether such memory reshapes reasoning on open-ended questions where no single ground-truth answer exists. To quantify this effect, we introduce DRIFTLENS, a ground-truth-free framework that maps each expressed reasoning step to a value category and measures divergence between a question's no-memory trajectory and its trajectory under injected user-attribute memory. We first validate that DRIFTLENS distinguishes content-free pragmatic noise from substantive reasoning changes. Across four LLMs and 10 user-attribute categories, including age, occupation, and disability, user-attribute memory induces medium-to-large reasoning drift above each model's pragmatic-noise floor, even when final answers remain fluent, on-topic, and plausible. We then evaluate GRPO- and DPO-based post-training methods for reducing drift. Both reduce drift, but neither uniformly dominates; effects on downstream capability, helpfulness, and instruction following are model-and reward-dependent. These results suggest that memory-induced reasoning drift is a measurable and only partly mitigated failure mode of personalized language models.