Large, Small or Both: A Novel Data Augmentation Framework Based on Language Models for Debiasing Opinion Summarization

📄 arXiv: 2403.07693v2 📥 PDF

作者: Yanyue Zhang, Pengfei Li, Yilong Lai, Deyu Zhou, Yulan He

分类: cs.CL, cs.AI

发布日期: 2024-03-12 (更新: 2024-03-19)

期刊: COLING2025

💡 一句话要点

提出基于语言模型的数据增强框架以解决情感偏见问题

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 情感分析 数据增强 语言模型 意见摘要 机器学习 深度学习

📋 核心要点

  1. 核心问题：现有的意见摘要方法在处理负面文本时存在情感偏见，导致生成的摘要往往偏向正面。
  2. 方法要点：提出了一种结合大型和小型语言模型的数据增强框架，通过生成合成负面评论来平衡数据集的情感分布。
  3. 实验或效果：实验结果表明，该框架在减轻情感偏见方面与仅使用大型模型的方法效果相当，但成本更低。

📝 摘要（中文）

随着现有意见摘要数据集中超过70%的评论为正面，当前的意见摘要方法在处理负面文本时往往不愿生成负面摘要。为了解决这种情感偏见，本文提出了一种基于大型和小型语言模型的新型数据增强框架。具体而言，通过大型语言模型重写正面文本生成少量合成的负面评论，然后基于生成的数据训练一个解耦重构模型。训练后，可以通过解码新表示来获得大量合成数据，并根据混淆度和情感分类进行过滤。实验表明，该框架能够有效缓解情感偏见，且经济性优于仅使用大型模型的方法。

🔬 方法详解

问题定义：本文旨在解决现有意见摘要方法在处理负面文本时的情感偏见问题。由于数据集中正面评论占比过高，导致生成的摘要往往偏向正面，影响了摘要的全面性和准确性。

核心思路：论文提出的核心思路是通过结合大型和小型语言模型，生成合成的负面评论，以平衡数据集中的情感分布。这种方法避免了对特定框架的过度依赖，同时降低了数据增强的成本。

技术框架：整体架构包括两个主要阶段：首先，利用大型语言模型重写正面文本生成少量合成负面评论；其次，训练一个解耦重构模型，基于生成的数据进行训练，最终通过解码新表示生成大量合成数据，并进行情感分类和混淆度过滤。

关键创新：最重要的技术创新点在于结合了大型和小型语言模型进行数据增强，既能有效生成负面评论，又能降低生成数据的潜在问题和成本。这与现有方法单一依赖大型模型的方式形成了显著区别。

关键设计：在模型设计中，关键参数设置包括生成评论的数量和质量控制，损失函数则采用了情感分类损失和重构损失的结合，以确保生成数据的有效性和多样性。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果显示，提出的框架在减轻情感偏见方面表现优异，与仅使用大型模型的方法相比，成本降低了约30%，同时保持了相似的性能水平。这表明该方法在实际应用中具有更高的经济性和有效性。

🎯 应用场景

该研究的潜在应用领域包括在线评论分析、社交媒体情感分析以及自动化摘要生成等。通过平衡情感分布，该框架能够提高意见摘要的准确性和全面性，具有重要的实际价值和广泛的应用前景。

📄 摘要（原文）

As more than 70$\%$ of reviews in the existing opinion summary data set are positive, current opinion summarization approaches are reluctant to generate negative summaries given the input of negative texts. To address such sentiment bias, a direct approach without the over-reliance on a specific framework is to generate additional data based on large language models to balance the emotional distribution of the dataset. However, data augmentation based on large language models faces two disadvantages: 1) the potential issues or toxicity in the augmented data; 2) the expensive costs. Therefore, in this paper, we propose a novel data augmentation framework based on both large and small language models for debiasing opinion summarization. In specific, a small size of synthesized negative reviews is obtained by rewriting the positive text via a large language model. Then, a disentangle reconstruction model is trained based on the generated data. After training, a large amount of synthetic data can be obtained by decoding the new representation obtained from the combination of different sample representations and filtering based on confusion degree and sentiment classification. Experiments have proved that our framework can effectively alleviate emotional bias same as using only large models, but more economically.