Large Language Models in Targeted Sentiment Analysis

📄 arXiv: 2404.12342v1 📥 PDF

作者: Nicolay Rusnachenko, Anton Golubev, Natalia Loukachevitch

分类: cs.CL

发布日期: 2024-04-18

备注: Fine-tuned Flan-T5-xl outperforms the top #1 results of transformer-based classifier in RuSentNE-2023 competition, to appear in Lobachevskii Journal of Mathematics No.8/2024 proceedings

🔗 代码/项目: GITHUB

💡 一句话要点

利用大语言模型进行针对性情感分析

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 情感分析 大语言模型 推理框架 微调 命名实体识别 自然语言处理 机器学习

📋 核心要点

  1. 现有方法在情感分析中对命名实体的提取能力有限，尤其是在零样本学习场景下表现不佳。
  2. 论文提出利用经过指令调优的大语言模型，结合“思维链”推理框架来提升情感分析的准确性。
  3. 实验结果表明，微调的Flan-T5-xl模型在RuSentNE-2023数据集上表现优异，超越了之前的最佳模型，提升幅度显著。

📝 摘要（中文）

本文研究了基于解码器的生成性变换器在提取俄罗斯新闻文章中命名实体情感的应用。我们考察了经过指令调优的大语言模型（LLMs）的情感分析能力，使用RuSentNE-2023数据集进行实验。第一组实验评估了LLMs在零样本条件下的能力，第二组则涉及使用“思维链”三步推理框架对Flan-T5进行微调。结果显示，零样本方法的效果与基线微调的编码器变换器（BERT-base）相似，而微调的Flan-T5模型在推理能力上至少提高了5%。最优的情感分析结果由微调的Flan-T5-xl模型取得，超越了之前的最先进的变换器分类器。我们的思维链应用框架已公开发布。

🔬 方法详解

问题定义：本文旨在解决在俄罗斯新闻文章中提取命名实体情感的挑战，现有方法在零样本学习和推理能力方面存在不足。

核心思路：通过使用指令调优的大语言模型和“思维链”推理框架，提升模型在情感分析中的表现，尤其是在复杂推理任务中的能力。

技术框架：整体架构包括两个主要阶段：第一阶段是零样本能力评估，第二阶段是对Flan-T5进行微调，采用“思维链”三步推理框架。

关键创新：最重要的创新在于结合了“思维链”推理框架与大语言模型的微调，显著提升了情感分析的准确性和推理能力。

关键设计：在微调过程中，采用了特定的损失函数和参数设置，以优化模型在三步推理任务中的表现，确保模型能够有效处理复杂的情感分析任务。

🖼️ 关键图片

img_0

📊 实验亮点

实验结果显示，微调的Flan-T5-xl模型在RuSentNE-2023数据集上的表现超越了之前的最先进的变换器分类器，零样本方法的结果与BERT-base相似，而微调模型在推理能力上提升至少5%。

🎯 应用场景

该研究的潜在应用领域包括新闻舆情监测、社交媒体情感分析及市场情绪评估等。通过提高情感分析的准确性，能够为决策者提供更为精准的情感洞察，进而影响政策制定和市场策略。未来，该方法还可扩展至其他语言和领域，具有广泛的实际价值。

📄 摘要（原文）

In this paper we investigate the use of decoder-based generative transformers for extracting sentiment towards the named entities in Russian news articles. We study sentiment analysis capabilities of instruction-tuned large language models (LLMs). We consider the dataset of RuSentNE-2023 in our study. The first group of experiments was aimed at the evaluation of zero-shot capabilities of LLMs with closed and open transparencies. The second covers the fine-tuning of Flan-T5 using the "chain-of-thought" (CoT) three-hop reasoning framework (THoR). We found that the results of the zero-shot approaches are similar to the results achieved by baseline fine-tuned encoder-based transformers (BERT-base). Reasoning capabilities of the fine-tuned Flan-T5 models with THoR achieve at least 5% increment with the base-size model compared to the results of the zero-shot experiment. The best results of sentiment analysis on RuSentNE-2023 were achieved by fine-tuned Flan-T5-xl, which surpassed the results of previous state-of-the-art transformer-based classifiers. Our CoT application framework is publicly available: https://github.com/nicolay-r/Reasoning-for-Sentiment-Analysis-Framework