DRIFTLENS: Measuring Memory-Induced Reasoning Drift in Personalized Language Models

📄 arXiv: 2607.02374v1 📥 PDF

作者: Xi Fang, Weijie Xu, Yingqiang Ge, Yuhui Xu, Stephanie Eckman, Chandan K. Reddy

分类: cs.AI

发布日期: 2026-07-02

备注: 10 pages, 5 figures

💡 一句话要点

提出DRIFTLENS框架以测量个性化语言模型中的推理漂移

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture) 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 个性化语言模型 推理漂移 DRIFTLENS 用户属性记忆 后训练方法 大型语言模型 开放式问题 实用噪声

📋 核心要点

  1. 个性化语言模型在推理过程中可能会产生未被充分量化的推理漂移，影响模型的可靠性。
  2. 提出DRIFTLENS框架，通过无地面真相的方法量化用户属性记忆对推理轨迹的影响。
  3. 实验结果显示，用户属性记忆导致的推理漂移在多个模型中均显著，且后训练方法对漂移的抑制效果因模型而异。

📝 摘要（中文）

个性化改变了模型对用户的响应，同时也改变了用于支持这些响应的推理轨迹。现代大型语言模型通过存储用户属性、偏好和先前上下文来个性化交互，并将这些信息注入未来的提示中。本文研究了这种记忆是否会重塑在开放式问题上的推理轨迹。为量化这一效应，我们提出了DRIFTLENS框架，该框架将每个推理步骤映射到一个值类别，并测量在注入用户属性记忆下的问题轨迹与无记忆轨迹之间的偏差。我们验证了DRIFTLENS能够区分内容无关的实用噪声与实质性推理变化。研究表明，用户属性记忆在四个大型语言模型和十个用户属性类别中引发了中到大规模的推理漂移，尽管最终答案仍然流畅、相关且合理。

🔬 方法详解

问题定义：本文旨在解决个性化语言模型中推理漂移的问题，现有方法未能充分量化记忆对推理轨迹的影响，导致模型在开放式问题上的表现不稳定。

核心思路：DRIFTLENS框架通过将推理步骤映射到值类别，量化用户属性记忆对推理轨迹的影响，提供了一种无地面真相的评估方式。

技术框架：该框架包括数据收集、推理步骤映射、轨迹比较等主要模块。首先收集用户属性信息，然后分析模型在有无记忆情况下的推理轨迹，最后进行偏差测量。

关键创新：DRIFTLENS的创新在于其无地面真相的评估方法，能够有效区分实用噪声与实质性推理变化，这在现有研究中尚未实现。

关键设计：在设计中，采用了多种用户属性类别（如年龄、职业、残疾等）进行实验，确保了结果的广泛适用性。损失函数和模型选择均考虑了推理漂移的特性，以优化后训练方法的效果。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果表明，用户属性记忆在四个大型语言模型中引发了中到大规模的推理漂移，超出了每个模型的实用噪声底线。后训练方法（如GRPO和DPO）均能减少漂移，但效果因模型和奖励机制而异，未能统一优于其他方法。

🎯 应用场景

该研究的潜在应用领域包括个性化聊天机器人、智能助手和教育技术等。通过量化推理漂移，开发者可以更好地理解和优化个性化模型的行为，从而提升用户体验和模型的可靠性。未来，DRIFTLENS框架可能会成为评估个性化模型推理质量的重要工具。

📄 摘要（原文）

Personalization changes what a model says to a user; we show that it can also change the reasoning trajectory used to justify the response. Modern LLMs personalize interactions by storing user attributes, preferences, and prior context, then injecting this information into future prompts. We study whether such memory reshapes reasoning on open-ended questions where no single ground-truth answer exists. To quantify this effect, we introduce DRIFTLENS, a ground-truth-free framework that maps each expressed reasoning step to a value category and measures divergence between a question's no-memory trajectory and its trajectory under injected user-attribute memory. We first validate that DRIFTLENS distinguishes content-free pragmatic noise from substantive reasoning changes. Across four LLMs and 10 user-attribute categories, including age, occupation, and disability, user-attribute memory induces medium-to-large reasoning drift above each model's pragmatic-noise floor, even when final answers remain fluent, on-topic, and plausible. We then evaluate GRPO- and DPO-based post-training methods for reducing drift. Both reduce drift, but neither uniformly dominates; effects on downstream capability, helpfulness, and instruction following are model-and reward-dependent. These results suggest that memory-induced reasoning drift is a measurable and only partly mitigated failure mode of personalized language models.