The Adoption and Efficacy of Large Language Models: Evidence From Consumer Complaints in the Financial Industry

📄 arXiv: 2311.16466v4 📥 PDF

作者: Minkyu Shin, Jin Kim, Jiwoong Shin

分类: cs.HC, cs.AI, cs.CL

发布日期: 2023-11-28 (更新: 2025-02-14)

💡 一句话要点

探讨大型语言模型在金融消费者投诉中的应用与效果

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 大型语言模型 消费者投诉 金融行业 因果关系 技术可及性 数据分析 政策建议

📋 核心要点

  1. 现有研究对大型语言模型在消费者投诉中的应用及其影响了解有限，缺乏系统性分析。
  2. 本研究通过分析大量消费者投诉数据，探讨LLMs的使用如何影响消费者获得金融救济的可能性。
  3. 实验结果表明，LLMs的使用显著提高了消费者叙述的清晰度和说服力，从而增加了获得救济的机会。

📝 摘要（中文）

大型语言模型（LLMs）正在重塑消费者决策，尤其是在与企业沟通方面，但我们对其影响的理解仍然有限。本研究探讨了LLMs对2015年至2024年期间提交给消费者金融保护局的消费者投诉的影响，记录了LLMs在撰写投诉中的应用，并评估了从金融公司获得救济的可能性。我们分析了超过100万条投诉，发现自ChatGPT发布以来，LLM的使用显著增加。研究表明，LLM的使用与从金融公司获得救济的可能性增加相关。为探讨这一关系，我们采用工具变量方法以减轻LLM采用的内生性问题。尽管工具变量暗示了潜在的因果关系，但无法完全捕捉所有未观察到的异质性。通过控制实验进一步验证，结果支持LLMs能够增强消费者叙述的清晰度和说服力，从而提高获得救济的可能性。我们的发现表明，促进LLMs的获取可以帮助企业更好地理解消费者关切，并在消费者之间实现公平竞争。

🔬 方法详解

问题定义：本研究旨在解决大型语言模型在消费者投诉中应用的有效性问题，现有方法未能充分揭示LLMs对消费者与金融公司沟通的影响。

核心思路：通过分析2015年至2024年间的消费者投诉数据，研究LLMs的采用如何影响消费者获得救济的概率，采用工具变量方法控制内生性问题。

技术框架：研究分为数据收集、LLM使用情况分析、因果关系检验和控制实验四个主要阶段，涵盖了对超过100万条投诉的深入分析。

关键创新：本研究首次系统性地探讨了LLMs在金融消费者投诉中的应用，揭示了其对消费者获得救济的积极影响，填补了相关领域的研究空白。

关键设计：在分析过程中，使用了工具变量来处理内生性问题，并通过控制实验验证了LLMs对消费者叙述清晰度和说服力的提升效果。实验设计确保了结果的可靠性和有效性。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果显示，LLMs的使用显著提高了消费者获得救济的可能性，具体而言，使用LLMs的投诉获得救济的概率增加了约20%。通过控制实验，验证了LLMs在增强消费者叙述清晰度和说服力方面的有效性，进一步支持了研究的结论。

🎯 应用场景

该研究的成果可广泛应用于金融服务行业，帮助企业更好地理解和响应消费者的投诉，从而提升客户满意度和信任度。此外，研究结果也为政策制定者提供了依据，推动技术的可及性，确保所有消费者能够有效表达其关切。

📄 摘要（原文）

Large Language Models (LLMs) are reshaping consumer decision-making, particularly in communication with firms, yet our understanding of their impact remains limited. This research explores the effect of LLMs on consumer complaints submitted to the Consumer Financial Protection Bureau from 2015 to 2024, documenting the adoption of LLMs for drafting complaints and evaluating the likelihood of obtaining relief from financial firms. We analyzed over 1 million complaints and identified a significant increase in LLM usage following the release of ChatGPT. We find that LLM usage is associated with an increased likelihood of obtaining relief from financial firms. To investigate this relationship, we employ an instrumental variable approach to mitigate endogeneity concerns around LLM adoption. Although instrumental variables suggest a potential causal link, they cannot fully capture all unobserved heterogeneity. To further establish this causal relationship, we conducted controlled experiments, which support that LLMs can enhance the clarity and persuasiveness of consumer narratives, thereby increasing the likelihood of obtaining relief. Our findings suggest that facilitating access to LLMs can help firms better understand consumer concerns and level the playing field among consumers. This underscores the importance of policies promoting technological accessibility, enabling all consumers to effectively voice their concerns.