LLM-Ensemble: Optimal Large Language Model Ensemble Method for E-commerce Product Attribute Value Extraction

📄 arXiv: 2403.00863v2 📥 PDF

作者: Chenhao Fang, Xiaohan Li, Zezhong Fan, Jianpeng Xu, Kaushiki Nag, Evren Korpeoglu, Sushant Kumar, Kannan Achan

分类: cs.IR, cs.AI, cs.CL

发布日期: 2024-02-29 (更新: 2024-06-20)

备注: SIGIR 2024 industry track

💡 一句话要点

提出LLM-Ensemble以解决电商产品属性值提取问题

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 产品属性提取 大型语言模型 集成学习 电商推荐系统 自然语言处理 算法优化 数据驱动

📋 核心要点

  1. 现有的产品属性值提取方法在准确性和效率上存在不足，尤其是在处理多样化数据时。
  2. 本文提出的LLM-ensemble算法通过集成不同LLMs的输出，利用其互补优势来提高属性值提取的准确性。
  3. 实验结果显示，LLM-ensemble在Walmart内部数据集上超越了所有单一LLM，显著提升了多项电商关键指标。

📝 摘要（中文）

产品属性值提取是自然语言处理和现代电商行业中的关键组成部分。准确的产品属性值对于确保高质量推荐和提升客户满意度至关重要。近年来，出现的大型语言模型（LLMs）在多个属性提取任务中表现出色，无需领域特定的训练数据。然而，由于数据、架构和超参数的多样性，不同LLMs展现出不同的优缺点，彼此间具有互补性。因此，开发一种能够利用这些互补潜力的集成方法显得尤为必要。本文提出了一种名为LLM-ensemble的新算法，通过迭代学习不同LLMs的权重来聚合标签，以预测最终的属性值。我们的实验表明，LLM-ensemble方法在Walmart的内部数据集上超越了所有现有的单一LLM，并已在多个生产模型中上线，显著提升了商品交易总额、点击率、转化率和加入购物车率。

🔬 方法详解

问题定义：本文旨在解决电商产品属性值提取中的准确性和效率问题。现有方法往往依赖于单一LLM，无法充分利用不同模型的优势，导致提取结果的准确性不足。

核心思路：论文提出的LLM-ensemble算法通过集成多个LLMs的输出，迭代学习各模型的权重，从而实现更为精准的属性值预测。这种设计能够有效利用不同LLMs的互补性，提升整体性能。

技术框架：LLM-ensemble的整体架构包括多个阶段：首先，收集不同LLMs的输出；其次，基于这些输出迭代学习权重；最后，聚合加权标签以预测最终的属性值。该方法确保了计算效率和快速收敛。

关键创新：LLM-ensemble的主要创新在于其理论上的最优性和高效的计算能力。与现有方法相比，该算法能够动态调整不同LLMs的权重，从而实现更高的预测准确性。

关键设计：在算法实现中，设计了特定的损失函数以优化权重学习过程，并采用了适应性学习率策略以加速收敛。此外，模型架构考虑了不同LLMs的特性，以确保集成效果的最大化。

🖼️ 关键图片

fig_0

📊 实验亮点

实验结果表明，LLM-ensemble方法在Walmart内部数据集上超越了所有现有的单一LLM，具体提升幅度包括商品交易总额、点击率、转化率和加入购物车率等关键指标均显著改善。这一成果验证了集成方法在实际应用中的有效性。

🎯 应用场景

该研究的潜在应用领域主要集中在电商平台的产品推荐系统中。通过提高产品属性值提取的准确性，LLM-ensemble能够显著提升用户体验和满意度，进而推动销售额的增长。未来，该方法还可扩展至其他领域，如在线内容管理和智能客服等，具有广泛的实际价值和影响力。

📄 摘要（原文）

Product attribute value extraction is a pivotal component in Natural Language Processing (NLP) and the contemporary e-commerce industry. The provision of precise product attribute values is fundamental in ensuring high-quality recommendations and enhancing customer satisfaction. The recently emerging Large Language Models (LLMs) have demonstrated state-of-the-art performance in numerous attribute extraction tasks, without the need for domain-specific training data. Nevertheless, varying strengths and weaknesses are exhibited by different LLMs due to the diversity in data, architectures, and hyperparameters. This variation makes them complementary to each other, with no single LLM dominating all others. Considering the diverse strengths and weaknesses of LLMs, it becomes necessary to develop an ensemble method that leverages their complementary potentials. In this paper, we propose a novel algorithm called LLM-ensemble to ensemble different LLMs' outputs for attribute value extraction. We iteratively learn the weights for different LLMs to aggregate the labels with weights to predict the final attribute value. Not only can our proposed method be proven theoretically optimal, but it also ensures efficient computation, fast convergence, and safe deployment. We have also conducted extensive experiments with various state-of-the-art LLMs, including Llama2-13B, Llama2-70B, PaLM-2, GPT-3.5, and GPT-4, on Walmart's internal data. Our offline metrics demonstrate that the LLM-ensemble method outperforms all the state-of-the-art single LLMs on Walmart's internal dataset. This method has been launched in several production models, leading to improved Gross Merchandise Volume (GMV), Click-Through Rate (CTR), Conversion Rate (CVR), and Add-to-Cart Rate (ATC).