MonitrLLM: A Community-Centered Evaluation Infrastructure for Large Language Models

📄 arXiv: 2608.02409v1 📥 PDF

作者: Victor Ojewale, Ro Encarnación, Suresh Venkatasubramanian, Danaé Metaxa

分类: cs.AI, cs.CY

发布日期: 2026-08-03

备注: Accepted to AIES 2026

💡 一句话要点

提出MonitrLLM以解决LLM评估中用户反馈缺失的问题

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 大语言模型 用户反馈 评估基础设施 对话系统 社区参与

📋 核心要点

  1. 现有的LLM评估方法无法有效将用户交互与任务结果相结合，导致评估结果缺乏全面性。
  2. 本文提出MonitrLLM，通过将对话记录与用户反馈相连接，提供了一种新的评估框架。
  3. 试点研究表明，尽管用户满意度高，但任务成功率较低，且多轮对话的失败率显著高于单轮对话。

📝 摘要（中文）

现有的评估基准无法有效连接用户交互轨迹与用户定义的任务结果。为此，本文提出了MonitrLLM，这是一个开源的社区中心化LLM评估基础设施，能够将完整的对话记录与用户报告的任务意图和结果评估相连接。通过为期两周的试点研究，收集了206份评估报告，结果显示尽管用户对LLM的满意度较高，但任务成功率却仅为76.9%。此外，多轮对话的失败率是单轮对话的2.5倍，提示延长交互可能反映出更高的困难而非参与度。

🔬 方法详解

问题定义：本文旨在解决现有LLM评估中缺乏用户反馈与交互轨迹连接的问题。现有方法通常将评估信号视为可选元数据，未能全面反映用户体验。

核心思路：MonitrLLM通过将完整的对话记录与用户报告的任务意图和结果评估相结合，提供了一种新的评估方式，强调用户反馈的重要性。

技术框架：该基础设施包括三个主要模块：对话记录收集、用户反馈收集和结果分析。用户在使用LLM时，系统会自动记录对话并在结束后收集用户的反馈。

关键创新：MonitrLLM的创新在于将用户交互与结果评估视为主要评估信号，而非附加信息。这种方法使得评估结果更加贴近实际使用情况。

关键设计：在设计中，系统采用了自动记录对话的机制，并通过问卷收集用户的满意度和任务成功率等数据，确保评估的全面性和准确性。用户反馈的收集方式经过精心设计，以提高参与度和数据质量。

🖼️ 关键图片

fig_0
fig_1

📊 实验亮点

试点研究中，参与者对LLM的平均满意度为4.19/5，但任务成功率仅为76.9%。此外，多轮对话的失败率是单轮对话的2.5倍，这一发现挑战了传统对话交互的理解，提示需要关注交互的复杂性与用户体验的真实反馈。

🎯 应用场景

MonitrLLM的潜在应用场景包括教育、客户服务和人机交互等领域。通过更准确的评估机制，研究者和开发者可以更好地理解用户需求，从而优化LLM的设计与应用，提升用户体验。未来，该基础设施可能推动LLM评估标准的制定，促进更广泛的社区参与。

📄 摘要（原文）

Benchmark suites assess model capability on controlled tasks; large-scale conversation corpora capture naturalistic use without user feedback; and in-interface feedback mechanisms record satisfaction without task purpose. Together, they leave a critical gap in LLM evaluation: no existing infrastructure routinely links interaction trajectories to user-defined outcomes. We introduce MonitrLLM, open-source infrastructure for community-centered LLM evaluations that links full conversation transcripts to user-reported task intent and outcome assessments, treating all three as primary evaluative signals rather than optional metadata. To demonstrate the value of this approach, we conducted a two-week feasibility pilot with 26 college students using ChatGPT, collecting 206 evaluation reports with full conversation transcripts. The findings from our pilot demonstrate the value of connecting conversation trajectories with user-reported outcomes. For instance, despite reporting high average satisfaction (4.19/5) with their LLM interactions, participants also experience a substantial 23.1% failure rate on their goal tasks. We also find that multi-turn conversations are reported as failing at 2.5 times the rate of single-turn exchanges, a pattern that reframes extended interaction as a signal of difficulty rather than engagement. We conclude by discussing the value of incorporating direct user feedback with observational data for robust LLM evaluations, and the possibilities for infrastructure that enables this goal.