Injecting Wiktionary to improve token-level contextual representations using contrastive learning
作者: Anna Mosolova, Marie Candito, Carlos Ramisch
分类: cs.CL
发布日期: 2024-02-12
备注: Accepted to EACL 2024 (Main)
💡 一句话要点
通过注入维基词典提升对比学习的词级上下文表示
🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture)
关键词: 上下文词嵌入 对比学习 维基词典 词义消歧 自然语言处理 预训练语言模型 语义理解
📋 核心要点
- 现有的上下文词嵌入在同义词的不同上下文中表现出过大的差异，导致词义理解的困难。
- 本文提出通过注入维基词典作为监督来源，结合对比学习对预训练语言模型进行微调，以改善词级上下文表示。
- 在Word-In-Context任务中，我们的方法在无监督设置下取得了新的最先进结果，并在语义框架归纳任务中也有一定改进。
📝 摘要（中文）
静态词嵌入无法考虑上下文，而上下文词嵌入在同义词的不同上下文中表现出过大的差异。本文探讨了如何利用英语维基词典作为监督来源，通过对比学习对预训练语言模型进行微调。我们在无监督设置下评估了该方法，并在原始的Word-In-Context（WiC）测试集上取得了新的最先进结果。此外，我们还提出了两个新的WiC测试集，展示了微调方法的显著改进。尽管主要实验集中在英语上，但该方法可适用于多种拥有大型维基词典的语言。
🔬 方法详解
问题定义：本文旨在解决现有上下文词嵌入在同义词不同上下文中表现出过大差异的问题，这导致了词义理解的困难。现有方法未能有效利用外部词典信息来改善词嵌入的上下文表示。
核心思路：我们提出通过注入英语维基词典作为额外的监督来源，结合对比学习的方式对预训练语言模型进行微调。这种设计旨在利用词典中的语义信息来增强上下文词嵌入的质量。
技术框架：整体方法包括数据准备、对比学习框架和微调过程。首先，从维基词典中提取相关词条作为监督信息，然后通过对比学习机制优化模型，使得相似词在上下文中的表示更加接近。
关键创新：最重要的技术创新在于将维基词典作为监督来源，填补了现有方法在上下文表示上的不足。这一方法与传统的仅依赖上下文的微调方式本质上不同，提供了额外的语义信息。
关键设计：在实验中，我们设置了不同的维度压缩参数，以观察其对上下文词嵌入的影响。此外，损失函数采用对比损失，确保相似词在嵌入空间中的距离更近。
🖼️ 关键图片
📊 实验亮点
在实验中，我们的方法在原始Word-In-Context测试集上取得了新的最先进结果，展示了显著的性能提升。此外，我们提出的两个新WiC测试集也显示出微调方法的实质性改进，尽管在语义框架归纳任务中的提升较为温和。
🎯 应用场景
该研究的潜在应用领域包括自然语言处理中的词义消歧、语义理解和机器翻译等。通过提升词级上下文表示的质量，能够显著改善相关任务的性能，具有重要的实际价值和广泛的应用前景。未来，该方法还可扩展到其他语言，进一步推动多语言处理的发展。
📄 摘要（原文）
While static word embeddings are blind to context, for lexical semantics tasks context is rather too present in contextual word embeddings, vectors of same-meaning occurrences being too different (Ethayarajh, 2019). Fine-tuning pre-trained language models (PLMs) using contrastive learning was proposed, leveraging automatically self-augmented examples (Liu et al., 2021b). In this paper, we investigate how to inject a lexicon as an alternative source of supervision, using the English Wiktionary. We also test how dimensionality reduction impacts the resulting contextual word embeddings. We evaluate our approach on the Word-In-Context (WiC) task, in the unsupervised setting (not using the training set). We achieve new SoTA result on the original WiC test set. We also propose two new WiC test sets for which we show that our fine-tuning method achieves substantial improvements. We also observe improvements, although modest, for the semantic frame induction task. Although we experimented on English to allow comparison with related work, our method is adaptable to the many languages for which large Wiktionaries exist.