Nostra Domina at EvaLatin 2024: Improving Latin Polarity Detection through Data Augmentation
作者: Stephen Bothwell, Abigail Swenor, David Chiang
分类: cs.CL, cs.LG
发布日期: 2024-04-11
备注: Proceedings of the Third Workshop on Language Technologies for Historical and Ancient Languages
💡 一句话要点
通过数据增强提升拉丁语情感极性检测的准确性
🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)
关键词: 情感极性检测 数据增强 拉丁语 机器学习 自然语言处理 情感分析 大型语言模型
📋 核心要点
- 拉丁语在情感极性检测中面临低资源和复杂情感表达的挑战，现有方法难以有效处理。
- 提出通过自动极性标注和$k$-均值算法增强数据，结合拉丁语大型语言模型提升情感检测能力。
- 实验结果显示，最佳方法在测试集上获得了第二高的Macro-$F_1$分数，验证了数据增强的有效性。
📝 摘要（中文）
本文描述了Nostra Domina团队在EvaLatin 2024情感极性检测共享任务中的提交。考虑到拉丁语的低资源环境及诗歌等修辞体裁中情感的复杂性，我们通过自动极性标注增强了可用数据。我们基于$k$-均值算法提出了两种数据增强方法，并在神经架构中使用多种拉丁语大型语言模型（LLMs），以更好地捕捉潜在的上下文情感表示。我们的方法在共享任务的测试集上取得了第二高的宏观平均Macro-$F_1$分数。
🔬 方法详解
问题定义：本文旨在解决拉丁语情感极性检测中的数据稀缺问题。现有方法在处理复杂的情感表达时表现不佳，尤其是在低资源语言环境中。
核心思路：通过自动极性标注技术增强训练数据，利用$k$-均值算法生成更多样本，以提高模型对情感的理解和识别能力。
技术框架：整体架构包括数据增强模块和情感检测模块。数据增强模块使用$k$-均值算法生成标注样本，情感检测模块则利用多种拉丁语大型语言模型进行情感分类。
关键创新：最重要的创新在于结合数据增强和大型语言模型，显著提升了情感极性检测的性能。这种方法在拉丁语情感分析中尚属首次。
关键设计：在参数设置上，采用了适合拉丁语特性的损失函数，并优化了网络结构以适应情感分类任务，确保模型能够有效捕捉情感特征。
🖼️ 关键图片
📊 实验亮点
实验结果表明，提出的方法在EvaLatin 2024共享任务的测试集上取得了第二高的宏观平均Macro-$F_1$分数，显示出数据增强技术的有效性。与基线模型相比，提升幅度显著，验证了该方法在拉丁语情感极性检测中的潜力。
🎯 应用场景
该研究的潜在应用领域包括古典文学分析、历史文本情感挖掘以及教育领域的拉丁语学习。通过提升拉丁语情感极性检测的准确性，可以更好地理解古代文本中的情感表达，促进相关领域的研究与应用。未来，该方法也可扩展至其他低资源语言的情感分析任务。
📄 摘要（原文）
This paper describes submissions from the team Nostra Domina to the EvaLatin 2024 shared task of emotion polarity detection. Given the low-resource environment of Latin and the complexity of sentiment in rhetorical genres like poetry, we augmented the available data through automatic polarity annotation. We present two methods for doing so on the basis of the $k$-means algorithm, and we employ a variety of Latin large language models (LLMs) in a neural architecture to better capture the underlying contextual sentiment representations. Our best approach achieved the second highest macro-averaged Macro-$F_1$ score on the shared task's test set.