Beyond Ranking Accuracy: Evaluating LLM-Cited Feature Rationales for Next Basket Repurchase Recommendation

📄 arXiv: 2608.30333v1 📥 PDF

作者: Yanan Cao, Anay Dombe, Murali Mohana Krishna Dandu, Shreeranjani Srirangamsridharan, Sinduja Subramaniam, Yogananth Mahalingam, Evren Korpeoglu, Kannan Achan

分类: cs.IR, cs.AI

发布日期: 2026-08-31

备注: Accepted at RecSys 2026 Workshop: Agentic and Generative AI for E-Commerce

💡 一句话要点

提出基于LLM的特征理由以改善下一篮子复购推荐

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 复购推荐 大型语言模型 可解释性 特征构建 用户行为分析

📋 核心要点

  1. 现有的复购推荐方法主要依赖于排序准确性，未能充分考虑推荐理由的可解释性。
  2. 本文提出利用大型语言模型（LLMs）生成基于特征的可读理由，以增强推荐系统的透明度和用户信任。
  3. 实验结果显示，LLM评分在某些设置下能够改善基于结果的特征掩蔽效果，但整体性能仍不及监督排名器。

📝 摘要（中文）

下一篮子复购推荐通常被视为一个排序任务：根据客户的购买历史，系统对可能再次需要的商品进行排序。然而，在实际应用中，排序准确性只是推荐质量的一个方面。客户也可能受益于关于为何现在推荐某个商品的简明证据。大型语言模型（LLMs）提供了一种通过基于特征的、可读的理由来呈现此类证据的潜在方式。本文构建了涵盖节奏、频率、近期性、用户行为和商品受欢迎程度的复购特征，并在两个公共杂货数据集和一个专有零售数据集上评估LLMs。我们研究了LLMs是否能够相对于启发式和监督排名器使用这些特征作为下一篮子的评分器，以及LLM引用的特征是否携带基于结果的排名信号。结果表明，LLM评分与监督排名器不具竞争力，建议不应将现成的LLMs作为独立的复购推荐器。

🔬 方法详解

问题定义：本文旨在解决复购推荐系统中缺乏可解释性的问题，现有方法往往只关注排序准确性，而忽视了用户对推荐理由的需求。

核心思路：通过构建基于用户行为和商品特征的复购特征，利用大型语言模型（LLMs）生成可读的推荐理由，从而提升推荐系统的透明度和用户体验。

技术框架：研究采用了一个包含特征构建、LLM评分和结果评估的整体框架。首先提取用户的购买历史特征，然后使用LLMs生成推荐理由，最后通过与基线模型的对比评估效果。

关键创新：本文的创新在于将LLMs应用于复购推荐的可解释性方面，提供了一种新的思路来生成基于特征的理由，而不仅仅是依赖于传统的排序方法。

关键设计：在特征构建中，考虑了节奏、频率、近期性、用户行为和商品受欢迎程度等多维度因素；在实验中，通过交叉模型特征掩蔽协议评估LLM引用特征的有效性。

🖼️ 关键图片

fig_0
img_1
img_2

📊 实验亮点

实验结果显示，LLM评分在某些情况下能够改善基于结果的特征掩蔽效果，但整体上与监督排名器相比并不具竞争力。具体而言，LLM的表现未能超越传统的监督学习方法，提示其作为独立推荐器的局限性。

🎯 应用场景

该研究的潜在应用领域包括电子商务、个性化推荐系统和客户关系管理等。通过提供可解释的推荐理由，能够增强用户对推荐系统的信任，提高用户满意度和复购率，具有重要的实际价值和未来影响。

📄 摘要（原文）

Next-basket repurchase recommendation is commonly formulated as a ranking task: given a customer's purchase history, the system ranks previously purchased items that may be needed again. In production settings, however, ranking accuracy is only one component of recommendation quality. Customers may also benefit from concise evidence about why an item is recommended now. Large language models (LLMs) offer a potential way to surface such evidence through feature-based, human-readable rationales grounded in interpretable behavioral signals. We construct repurchase features spanning cadence, frequency, recency, user behavior, and item popularity, and evaluate LLMs on two public grocery datasets and one proprietary retail dataset. We investigate (1) whether off-the-shelf LLMs can use these features as next-basket scorers relative to heuristic and supervised rankers, and (2) whether LLM-cited features carry outcome-grounded ranking signal. For the latter, we compare LLM-cited features with model-specific attribution methods under a cross-model feature-masking protocol that measures ranking degradation after masking selected features. Our results show that LLM scores are not competitive with supervised rankers, suggesting that off-the-shelf LLMs should not be used as standalone repurchase recommenders. However, changes in prompt and evidence representation can improve outcome-grounded feature-masking results in some settings even when ranking performance does not improve; the effect is dataset-dependent and does not consistently match attribution baselines. These findings suggest a practical role for LLMs as validated explanation components rather than primary rankers, with rationale quality evaluated separately from ranking accuracy.