Thematic Analysis with Large Language Models: does it work with languages other than English? A targeted test in Italian

📄 arXiv: 2404.08488v1 📥 PDF

作者: Stefano De Paoli

分类: cs.CL

发布日期: 2024-04-12

💡 一句话要点

提出针对意大利语的主题分析测试以验证大型语言模型的有效性

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 主题分析 大型语言模型 多语言处理 意大利语 预训练模型

📋 核心要点

  1. 现有研究主要集中在英语数据上，缺乏对大型语言模型在其他语言上进行主题分析的验证。
  2. 本文提出使用意大利语的开放数据集进行主题分析测试，探索LLM在非英语环境中的应用潜力。
  3. 实验结果显示，预训练模型在意大利语数据上进行主题分析的能力与人类研究者相似，具有良好的实用性。

📝 摘要（中文）

本文提出了一种测试方法，旨在评估大型语言模型（LLM）在非英语数据上进行主题分析（TA）的能力。尽管已有研究表明预训练的LLM在英语数据上进行TA时表现良好，但缺乏对其在其他语言上表现的验证。本文使用意大利语的半结构化访谈开放数据集进行测试，结果表明预训练模型能够在意大利语数据上进行有效的主题分析，并且生成的主题与人类研究者独立产生的主题具有良好的相似性。这项研究的主要意义在于，预训练的LLM可能适用于多语言环境下的分析，只要所使用的模型支持该语言。

🔬 方法详解

问题定义：本文旨在解决大型语言模型在非英语数据上进行主题分析的有效性问题。现有方法主要集中在英语，缺乏对其他语言的实证研究。

核心思路：通过使用意大利语的半结构化访谈数据集，验证预训练的LLM在进行主题分析时的表现，探索其在多语言环境中的适用性。

技术框架：研究采用开放访问的数据集，设计了一系列实验，使用意大利语提示对模型进行测试，比较模型生成的主题与人类研究者的主题之间的相似性。

关键创新：本研究的创新点在于首次系统性地评估LLM在意大利语数据上的主题分析能力，填补了现有研究的空白。

关键设计：实验中使用的模型为预训练的LLM，关键参数设置包括输入提示的语言、数据集的选择，以及主题生成的评估标准。

📊 实验亮点

实验结果表明，预训练的LLM在意大利语数据上进行主题分析时，生成的主题与人类研究者的主题具有良好的相似性，表明模型在多语言环境中的有效性。这一发现为未来的多语言数据分析提供了新的可能性。

🎯 应用场景

该研究的潜在应用领域包括社会科学研究、市场调查和多语言数据分析等。通过验证LLM在不同语言上的有效性，研究为跨语言的主题分析提供了新的工具和方法，具有重要的实际价值和未来影响。

📄 摘要（原文）

This paper proposes a test to perform Thematic Analysis (TA) with Large Language Model (LLM) on data which is in a different language than English. While there has been initial promising work on using pre-trained LLMs for TA on data in English, we lack any tests on whether these models can reasonably perform the same analysis with good quality in other language. In this paper a test will be proposed using an open access dataset of semi-structured interviews in Italian. The test shows that a pre-trained model can perform such a TA on the data, also using prompts in Italian. A comparative test shows the model capacity to produce themes which have a good resemblance with those produced independently by human researchers. The main implication of this study is that pre-trained LLMs may thus be suitable to support analysis in multilingual situations, so long as the language is supported by the model used.