User Feedback Provides a Unique Signal that LLMs Can not Detect
作者: Shachar Don-Yehiya, Leshem Choshen, Omri Abend
分类: cs.CL
发布日期: 2026-09-02
💡 一句话要点
提出用户反馈信号以提升大型语言模型的有效性
🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)
关键词: 用户反馈 大型语言模型 模型修订 评估偏差 自然语言处理
📋 核心要点
- 现有方法普遍认为用户反馈信号嘈杂且难以有效利用，导致其在大型语言模型中的应用受到限制。
- 论文通过构建合成数据与自然数据，展示用户反馈是一个可操作的改进信号，挑战了传统评估范式的偏见。
- 实验结果表明，利用用户反馈生成的模型修订在解决特定问题上显著优于未使用反馈的基线修订。
📝 摘要（中文）
利用用户交互中自然产生的反馈为大型语言模型（LLMs）提供了一种有前景的学习信号。然而，近期研究表明，这种反馈本质上是嘈杂的，难以有效利用。我们挑战了这一观念，证明用户反馈是一个高度可操作的改进信号，其被认为无效的原因源于当前评估范式中的系统性偏差。通过构建具有明确真实值的合成数据，并结合自然数据进行验证，我们展示了反馈信息在现实场景中的有效性。比较在有无反馈情况下生成的模型修订，我们发现反馈驱动的修订在解决特定问题上显著优于基线修订。最后，我们揭示了评估偏差的根源：当模型成功修复问题完全依赖于反馈时，LLM评估者常常未能识别真正修正的响应，系统性地偏好劣质的基线输出。
🔬 方法详解
问题定义：论文要解决的问题是如何有效利用用户反馈信号来提升大型语言模型的性能。现有方法普遍认为用户反馈嘈杂且难以利用，导致其潜在价值未被充分挖掘。
核心思路：论文的核心思路是通过构建合成数据与自然数据，验证用户反馈的有效性，并展示其在模型修订中的实际应用。通过这种方式，论文挑战了传统的评估方法，揭示了反馈信号的真实价值。
技术框架：整体架构包括数据构建、模型修订和评估三个主要模块。首先，构建具有明确真实值的合成数据；其次，利用用户反馈进行模型修订；最后，通过对比实验评估修订效果。
关键创新：最重要的技术创新点在于揭示了用户反馈在模型修订中的实际作用，并指出当前评估范式的系统性偏差。这一发现为如何有效利用用户反馈提供了新的视角。
关键设计：在实验中，采用了合成数据与自然数据的结合，设计了针对反馈的特定修订策略，并通过对比分析展示了反馈驱动修订的有效性。
🖼️ 关键图片
📊 实验亮点
实验结果显示，利用用户反馈生成的模型修订在解决特定问题上成功率显著提高，达到了基线修订的数倍。具体而言，反馈驱动的修订在解决目标问题上的成功率显著高于未使用反馈的修订，验证了用户反馈的有效性。
🎯 应用场景
该研究的潜在应用领域包括自然语言处理、智能客服、个性化推荐等。通过有效利用用户反馈，模型可以更好地适应用户需求，提升交互体验和服务质量，具有重要的实际价值和未来影响。
📄 摘要（原文）
Harnessing naturally occurring feedback from user interactions offers a promising learning signal for Large Language Models (LLMs). However, recent studies suggest this feedback is inherently noisy and difficult to leverage effectively. We challenge this conception by demonstrating that user feedback is a highly actionable signal for improvement, and that its perceived ineffectiveness stems from a systematic bias in current evaluation paradigms. To isolate the usefulness of feedback, we construct synthetic data with a definitive ground truth, alongside naturalistic data to validate that our findings hold in real-world scenarios. By comparing model revisions generated with and without access to feedback across both settings, we show that feedback-informed revisions resolve targeted issues at significantly higher rates than baseline revisions. Finally, we expose the root of the evaluation bias: when a model successfully fixes an issue exclusively due to feedback, LLM judges frequently fail to identify the genuinely corrected response, systematically preferring inferior baseline outputs instead.