Can we obtain significant success in RST discourse parsing by using Large Language Models?

📄 arXiv: 2403.05065v1 📥 PDF

作者: Aru Maekawa, Tsutomu Hirao, Hidetaka Kamigaito, Manabu Okumura

分类: cs.CL

发布日期: 2024-03-08

备注: Accepted in the main conference of EACL 2024

💡 一句话要点

利用大型语言模型提升RST话语解析的性能

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 修辞结构理论 话语解析 大型语言模型 自然语言处理 模型微调 文本分析 上下文理解

📋 核心要点

  1. 现有的编码器和编码-解码器模型在话语解析中表现良好，但大型语言模型的潜力尚未被充分挖掘。
  2. 本文通过将解析过程转化为提示，探索了大型语言模型在修辞结构理论话语解析中的应用，采用Llama 2进行微调。
  3. 实验结果显示，Llama 2在自下而上的解析策略中取得了最新的最优结果，并在不同数据集上展现了良好的泛化能力。

📝 摘要（中文）

近年来，解码器预训练的大型语言模型（LLMs）在自然语言处理（NLP）任务中产生了显著影响。尽管编码器或编码-解码器预训练模型在话语解析中已被证明有效，但LLMs在此任务中的表现仍然是一个未解的研究问题。本文探讨了LLMs在修辞结构理论（RST）话语解析中的有效性。通过将自上而下和自下而上的解析过程转化为提示，使用Llama 2并通过QLoRA进行微调，实验结果表明，Llama 2在自下而上的策略中取得了最新的最优结果，并在多个基准数据集上表现出良好的泛化能力。

🔬 方法详解

问题定义：本文旨在探讨大型语言模型在修辞结构理论（RST）话语解析中的有效性。现有方法主要依赖编码器或编码-解码器模型，未能充分利用大型语言模型的潜力。

核心思路：通过将话语解析的自上而下和自下而上的过程转化为提示，使得大型语言模型能够有效参与解析任务。此设计旨在利用LLMs的强大生成能力来提升解析性能。

技术框架：整体架构包括数据预处理、提示生成、模型微调和性能评估四个主要模块。首先，将解析任务转化为适合LLMs的提示格式，然后使用Llama 2进行微调，最后在多个基准数据集上进行评估。

关键创新：本文的主要创新在于将解析过程转化为提示，使得大型语言模型能够直接参与话语解析任务。这一方法与传统的解析方法有本质区别，能够更好地利用LLMs的生成能力。

关键设计：在微调过程中，采用QLoRA技术以减少可调参数数量，确保模型在保持性能的同时降低计算复杂度。实验中使用的基准数据集包括RST-DT、Instr-DT和GUM语料库。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果表明，Llama 2在自下而上的解析策略中达到了最新的最优结果，显著优于现有基线，尤其是在RST-DT数据集上表现出色，显示出较大的性能提升幅度。这一成果验证了大型语言模型在话语解析中的有效性和潜力。

🎯 应用场景

该研究的潜在应用领域包括文本分析、自动摘要生成和对话系统等。通过提升话语解析的性能，可以为自然语言处理的多个任务提供更为准确的上下文理解，从而增强人机交互的自然性和流畅性。未来，该方法有望在更广泛的NLP任务中得到应用，推动智能系统的进一步发展。

📄 摘要（原文）

Recently, decoder-only pre-trained large language models (LLMs), with several tens of billion parameters, have significantly impacted a wide range of natural language processing (NLP) tasks. While encoder-only or encoder-decoder pre-trained language models have already proved to be effective in discourse parsing, the extent to which LLMs can perform this task remains an open research question. Therefore, this paper explores how beneficial such LLMs are for Rhetorical Structure Theory (RST) discourse parsing. Here, the parsing process for both fundamental top-down and bottom-up strategies is converted into prompts, which LLMs can work with. We employ Llama 2 and fine-tune it with QLoRA, which has fewer parameters that can be tuned. Experimental results on three benchmark datasets, RST-DT, Instr-DT, and the GUM corpus, demonstrate that Llama 2 with 70 billion parameters in the bottom-up strategy obtained state-of-the-art (SOTA) results with significant differences. Furthermore, our parsers demonstrated generalizability when evaluated on RST-DT, showing that, in spite of being trained with the GUM corpus, it obtained similar performances to those of existing parsers trained with RST-DT.