Automating Customer Needs Analysis: A Comparative Study of Large Language Models in the Travel Industry

📄 arXiv: 2404.17975v2 📥 PDF

作者: Simone Barandoni, Filippo Chiarello, Lorenzo Cascone, Emiliano Marrale, Salvatore Puccio

分类: cs.CL, cs.AI, cs.HC, cs.LG

发布日期: 2024-04-27 (更新: 2025-04-09)

💡 一句话要点

比较大型语言模型以自动化旅行客户需求分析

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 大型语言模型 客户需求分析 自然语言处理 开源模型 旅行行业 性能评估 文本数据提取

📋 核心要点

  1. 现有方法在提取旅行客户需求时面临模型性能和成本的挑战，尤其是大型封闭模型的高昂费用。
  2. 本研究通过比较多种开源和专有LLMs，提出了一种有效的客户需求分析方法，旨在提高准确性和可负担性。
  3. 实验结果显示，开源模型Mistral 7B在客户需求识别和总结方面表现优异，且性能接近大型封闭模型。

📝 摘要（中文）

在快速发展的自然语言处理领域，大型语言模型（LLMs）已成为提取文本数据中有价值见解的强大工具。本研究对LLMs在从TripAdvisor和Reddit帖子中提取旅行客户需求的能力进行了比较分析。通过使用包括开源和专有模型（如GPT-4和Gemini）在内的多种模型，我们旨在阐明它们在这一特定领域的优缺点。通过使用BERTScore、ROUGE和BLEU等评估指标，我们评估了每个模型在准确识别和总结客户需求方面的表现。研究结果表明，开源LLMs，特别是Mistral 7B，在性能上与更大规模的封闭模型相当，同时提供了更具成本效益和定制化的优势。此外，我们强调在选择最合适的LLM进行客户需求分析时，考虑模型大小、资源需求和性能指标等因素的重要性。总体而言，本研究为希望利用先进NLP技术提升客户体验和推动旅行行业运营效率的企业提供了宝贵见解。

🔬 方法详解

问题定义：本研究旨在解决如何有效提取旅行客户需求的问题，现有方法往往依赖于高成本的封闭模型，限制了其在实际应用中的普遍性和可负担性。

核心思路：通过比较多种大型语言模型，尤其是开源模型，来评估其在客户需求分析中的表现，旨在找到一种既高效又经济的解决方案。

技术框架：研究采用了多种LLMs，包括GPT-4、Gemini和Mistral 7B，评估过程使用了BERTScore、ROUGE和BLEU等指标，分析模型在提取和总结客户需求方面的能力。

关键创新：本研究的创新点在于强调开源模型在特定任务中的有效性，尤其是Mistral 7B在性能和成本之间的平衡，挑战了传统对大型封闭模型的依赖。

关键设计：在实验中，模型的选择、评估指标的设置以及数据集的构建都是关键设计要素，确保了结果的可靠性和可比性。具体而言，使用了多样化的文本数据源，以提高模型的泛化能力。

📊 实验亮点

实验结果显示，开源模型Mistral 7B在客户需求识别和总结方面的表现与大型封闭模型相当，BERTScore和ROUGE指标均接近，且成本显著降低，展示了开源解决方案的可行性和优势。

🎯 应用场景

该研究的潜在应用领域包括旅行行业的客户服务、市场分析和产品开发。通过自动化客户需求分析，企业能够更好地理解客户偏好，从而提升客户体验和运营效率，具有显著的实际价值和未来影响。

📄 摘要（原文）

In the rapidly evolving landscape of Natural Language Processing (NLP), Large Language Models (LLMs) have emerged as powerful tools for many tasks, such as extracting valuable insights from vast amounts of textual data. In this study, we conduct a comparative analysis of LLMs for the extraction of travel customer needs from TripAdvisor and Reddit posts. Leveraging a diverse range of models, including both open-source and proprietary ones such as GPT-4 and Gemini, we aim to elucidate their strengths and weaknesses in this specialized domain. Through an evaluation process involving metrics such as BERTScore, ROUGE, and BLEU, we assess the performance of each model in accurately identifying and summarizing customer needs. Our findings highlight the efficacy of opensource LLMs, particularly Mistral 7B, in achieving comparable performance to larger closed models while offering affordability and customization benefits. Additionally, we underscore the importance of considering factors such as model size, resource requirements, and performance metrics when selecting the most suitable LLM for customer needs analysis tasks. Overall, this study contributes valuable insights for businesses seeking to leverage advanced NLP techniques to enhance customer experience and drive operational efficiency in the travel industry.