The BD-LSC Dataset: Facilitating the Benchmarking of Models for Lexical Semantic Change Detection in Slang and Standard Usage

📄 arXiv: 2606.16560v1 📥 PDF

作者: Afnan Aloraini, Viktor Schlegel, Goran Nenadic, Riza Batista-Navarro

分类: cs.CL

发布日期: 2026-06-15

💡 一句话要点

提出BD-LSC数据集以解决词义变化检测中的双向挑战

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 词义变化 俚语检测 语义消歧 数据集 自然语言处理 机器学习 模型评估

📋 核心要点

  1. 现有方法在捕捉双向语义变化方面存在不足，尤其是俚语与标准用法的交互复杂性。
  2. 本文提出BD-LSC和ST-WSD两个数据集，支持对词义变化的系统性评估，特别是俚语与标准用法的结合。
  3. 实验结果显示，GPT-4o模型在多个指标上表现优异，但对稀有俚语意义的识别仍是主要挑战。

📝 摘要（中文）

自动语义变化检测旨在识别词义随时间的变化，提供语言和社会变迁的洞察。尽管在计算词汇语义变化（LSC）方面取得了一定进展，现有基准和方法仍难以捕捉双向语义变化，尤其是同时获得和失去意义的词汇。为了解决这些问题，本文引入了两个互补的基准数据集：双向词汇语义变化（BD-LSC）数据集和俚语词义消歧（ST-WSD）数据集，支持对复杂语义轨迹的研究和系统的模型评估。通过这些基准，系统评估了多种方法，包括无监督聚类和监督学习等，结果显示GPT-4o模型在精确匹配和多标签准确率上表现最佳，但仍面临俚语稀有意义的挑战。

🔬 方法详解

问题定义：本文旨在解决现有词义变化检测方法无法有效捕捉双向变化的问题，尤其是俚语与标准用法的复杂交互。现有方法在处理同时获得和失去意义的词汇时表现不佳。

核心思路：通过引入BD-LSC和ST-WSD数据集，提供多维度的语义变化标注，支持对复杂语义轨迹的深入分析，从而提升模型的检测能力。

技术框架：整体架构包括两个主要数据集：BD-LSC用于捕捉词义的获得、失去和稳定性，ST-WSD提供细粒度的词义消歧标注，支持多种模型的评估。

关键创新：最重要的创新在于引入双向词汇语义变化数据集，填补了现有方法在俚语与标准用法交互方面的空白，使得模型能够更全面地理解词义变化。

关键设计：在模型评估中，采用了无监督聚类、监督学习和基于变换器的模型，特别关注了少样本学习的设置，确保模型在稀有俚语意义上的表现得到提升。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果显示，GPT-4o模型在精确词义匹配（ESM）和多标签准确率上表现最佳，然而所有系统的Macro-F1分数接近0.5，表明对稀有俚语意义的检测仍然是一个主要挑战。

🎯 应用场景

该研究的潜在应用领域包括自然语言处理、社交媒体分析和语言学研究。通过提供更准确的词义变化检测工具，能够帮助研究人员和开发者更好地理解语言演变及其社会影响，推动相关技术的进步与应用。

📄 摘要（原文）

Automatic semantic change detection aims to identify how word meanings shift over time, offering insights into both linguistic and societal change. Despite recent progress in computational lexical semantic change (LSC), existing benchmarks and methods struggle to capture bi-directional semantic change, particularly cases where words simultaneously gain and lose senses. This problem is especially challenging for words that have both slang and standard meanings. To address these gaps, we introduce two complementary benchmark datasets. The Bi-Directional Lexical Semantic Change (BD-LSC) dataset captures sense gain, sense loss, and stability across three time periods, enabling the study of complex semantic trajectories. The SlangTrack Word Sense Disambiguation (ST-WSD) dataset provides fine-grained, instance-level sense annotations for words combining slang and standard usages, supporting systematic benchmarking of WSD and semantic change detection models. Using these benchmarks, we systematically evaluate models across different methodological families: unsupervised clustering using contextualised embeddings, supervised machine learning, transformer-based models, and state-of-the-art large language models. Among the evaluated systems, the few-shot GPT-4o model achieved the strongest aggregate performance on Exact Sense Match (ESM) and multi-label accuracy; however, Macro-F1 scores near 0.5 across all systems show that rare slang senses remain difficult, which we identify as the central open challenge.