Your Mouse and Eyes Secretly Leak Your Preference: LLM Alignment using Implicit Feedback from Users

📄 arXiv: 2606.20482v1 📥 PDF

作者: Haw-Shiuan Chang, Jeffrey Gomez, Mehul Patwari, Aryan Sajith, Hamed Zamani

分类: cs.CL, cs.HC, cs.LG

发布日期: 2026-06-18

🔗 代码/项目: GITHUB

💡 一句话要点

通过隐式反馈提升大语言模型的对齐效果

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture) 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 大语言模型 隐式反馈 用户行为分析 奖励模型 机器学习

📋 核心要点

  1. 现有方法依赖显式人类反馈，导致高质量偏好标注收集困难，且用户反馈稀缺。
  2. 本文提出通过隐式反馈来提升大语言模型的对齐效果，利用用户的鼠标轨迹和眼动数据。
  3. 实验结果显示，基于隐式反馈的奖励模型显著提升了响应质量，准确率从55%提升至64%。

📝 摘要（中文）

为了对齐大语言模型（LLM），现有方法主要依赖显式人类反馈并训练奖励模型来预测人类偏好。然而，这些方法存在两个主要局限性：用户很少提供显式反馈，导致高质量偏好标注难以收集；同时，现有方法未能利用隐式人类反馈。为此，本文构建了一个新数据集IFLLM，收集了来自59名Mechanical Turk工作者的1336个多轮问题及其鼠标轨迹和眼动数据。研究表明，用户的注视行为和鼠标轨迹多样性显著。基于隐式反馈的奖励模型将文本基础奖励模型的准确率从55%提升至64%，并在应用DPO后，响应质量的相对提升几乎达到了三倍，展示了隐式反馈的实际价值。

🔬 方法详解

问题定义：本文旨在解决大语言模型（LLM）对齐过程中对显式人类反馈依赖过重的问题。现有方法在用户反馈稀缺的情况下，难以获得高质量的偏好标注，限制了模型的优化效果。

核心思路：论文提出利用隐式反馈（如鼠标轨迹和眼动数据）来增强对LLM的对齐能力。通过分析用户的自然行为，获取更丰富的反馈信息，从而提升模型的性能。

技术框架：整体架构包括数据收集、隐式反馈分析和奖励模型训练三个主要模块。首先，通过IFLLM数据集收集用户的多轮问题及其行为数据；然后，分析这些隐式反馈以构建奖励模型；最后，利用该模型优化LLM的响应。

关键创新：最重要的技术创新在于引入隐式反馈作为对齐的补充，突破了传统方法对显式反馈的依赖。这种方法不仅提高了反馈的可用性，还增强了模型的适应性和准确性。

关键设计：在模型设计中，采用了特定的损失函数来结合隐式反馈和显式反馈，确保模型能够有效学习用户的偏好。此外，网络结构经过优化，以便更好地处理多模态输入数据。具体参数设置和网络架构细节在论文中进行了详细描述。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果表明，基于隐式反馈的奖励模型将文本基础奖励模型的准确率从55%提升至64%，并在应用DPO后，响应质量的相对提升几乎达到了三倍，显示出隐式反馈在实际应用中的重要价值。

🎯 应用场景

该研究的潜在应用领域包括智能客服、个性化推荐系统和人机交互等。通过利用隐式反馈，模型能够更准确地理解用户需求，从而提供更优质的服务。未来，该方法有望在多个领域推动大语言模型的应用和发展。

📄 摘要（原文）

To align a Large Language Model (LLM), most existing methods collect explicit human feedback and train a reward model to predict the human preference based on the response text. These existing methods have two key limitations. First, the users rarely provide explicit feedback for LLM responses, which makes the high-quality preference annotation expensive to collect. Second, the methods do not leverage implicit human feedback, which has proven vital to the economic moats of Internet giants. To quantify the value of implicit feedback, we build a new dataset called IFLLM, which collects 1336 multi-turn questions from the 59 Mechanical Turk workers, their mouse trajectories, and eye gazing points to the LLMs' responses from their webcams. IFLLM shows that the users have very diverse types of gazing behavior and mouse trajectories. Our reward model based on the implicit user feedback boosts the accuracy of the text-based reward model from 55% to 64% and nearly triples the relative response quality improvements after applying the DPO to eight LLMs, demonstrating the value of implicit feedback in the wild. Our data collection website, dataset, and codes can be found at https://github.com/themehulpatwari/llm-implicit-feedback/.