RPCBench: A Benchmark for Proactive Premise Critique in LLM-based Recommendation

📄 arXiv: 2609.00918v1 📥 PDF

作者: Zhongru Chen, Yuan Wu, Yi Chang

分类: cs.AI, cs.CL

发布日期: 2026-09-01

备注: 45 pages, 8 figures. Code available at https://github.com/ZhongruChen/RPCBench

🔗 代码/项目: GITHUB

💡 一句话要点

提出RPCBench以解决大语言模型推荐中的前提批判问题

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 推荐系统 大语言模型 前提批判 错误检测 证据基础 主动检测 评估基准

📋 核心要点

  1. 现有推荐系统评估方法主要集中于推荐质量，而忽视了对错误请求的识别与处理能力。
  2. 本文提出RPCBench基准，专注于评估推荐前提批判，涵盖多种前提失败类型和证据基础实例。
  3. 实验结果表明，主动检测是当前模型的主要瓶颈，且在不明确前提错误上表现最差，推理长度对批判质量影响显著。

📝 摘要（中文）

随着大语言模型在互动推荐助手中的应用日益增加，其评估应超越简单的项目推荐，测试其识别错误推荐请求的能力。现有的推荐基准主要评估排名、生成或偏好满足，而现有的错误检测基准通常未能针对推荐特定的用户和候选证据。为填补这一空白，本文提出RPCBench，一个用于评估推荐前提批判的基准，旨在检测、诊断和妥善处理自然语言推荐请求中的错误前提。RPCBench包含来自五个推荐领域的证据基础测试实例，涵盖十种前提失败类型。每个实例提供可见的推荐上下文和损坏的用户查询，并设计了细粒度评估框架，测量主动检测、错误定位、后检测处理策略和证据可信度。通过对11个大语言模型的系统评估，发现主动检测是推荐前提批判的主要瓶颈，模型在不明确前提错误上表现最差。

🔬 方法详解

问题定义：本文旨在解决大语言模型在推荐系统中对错误前提的识别和处理能力不足的问题。现有方法未能有效评估模型在面对不准确或模糊请求时的表现，导致推荐质量下降。

核心思路：论文提出RPCBench基准，专注于推荐前提批判，设计了包含多种前提失败类型的测试实例，以评估模型的主动检测和处理策略。通过这种方式，能够更全面地评估模型在推荐场景中的实用性。

技术框架：RPCBench的整体架构包括五个推荐领域的证据基础测试实例，涵盖十种前提失败类型。评估框架分为主动检测、错误定位、后检测处理策略和证据可信度四个主要模块。

关键创新：最重要的技术创新在于引入了针对推荐请求的前提批判评估，填补了现有基准在错误检测方面的空白。与传统方法不同，RPCBench强调了证据基础和用户查询的相关性。

关键设计：在设计中，采用了细粒度的评估指标，关注主动检测的准确性和错误定位的有效性。模型的推理长度被优化，以避免过度思考带来的性能下降。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果显示，主动检测是推荐前提批判的主要瓶颈，模型在不明确前提错误上的表现最差。研究还发现，目标关键信息的密度比冗余证据更为重要，推理长度对批判质量的影响呈现非单调性，性能在中等推理长度时达到峰值。

🎯 应用场景

该研究的潜在应用领域包括在线推荐系统、智能助手和客户服务等。通过提高模型对错误请求的识别和处理能力，可以显著提升用户体验和推荐质量，具有重要的实际价值和广泛的应用前景。

📄 摘要（原文）

Large language models are increasingly used as interactive recommender assistants. Their evaluation should therefore go beyond plausible item recommendation and test whether they can recognize flawed recommendation requests. Existing recommender benchmarks mainly assess ranking, generation, or preference satisfaction, while existing error-detection benchmarks are usually not grounded in recommendation-specific user and candidate evidence. To address this gap, we introduce RPCBench, a benchmark for evaluating Recommender-Premise Critique: the ability to detect, diagnose, and properly handle faulty premises in natural-language recommendation requests. RPCBench contains evidence-grounded test instances from five recommendation domains and covers ten types of premise failures. Each instance provides a visible recommendation context and a corrupted user query. We further design a fine-grained evaluation framework that measures proactive detection, error localization, post-detection handling strategy, and evidence faithfulness. Through a systematic evaluation of 11 LLMs, we find that proactive detection is the main bottleneck in Recommender-Premise Critique, and models perform worst on underspecified-premise errors. We also observe that target-critical information density matters more than redundant evidence, and that longer reasoning does not monotonically improve critique quality: performance peaks at intermediate reasoning length, while overly long reasoning is accompanied by an overthinking penalty. The code is available at https://github.com/ZhongruChen/RPCBench.