Error-Type-Aware Loss Reweighting for Robust Named Entity Recognition with Noisy LLM Labels

📄 arXiv: 2608.30827v1 📥 PDF

作者: Elena Merdjanovska, Jonas Golde, Alan Akbik

分类: cs.CL

发布日期: 2026-08-31

💡 一句话要点

提出错误类型感知损失重加权以解决NER中的噪声标签问题

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 命名实体识别 噪声鲁棒性 损失重加权 大型语言模型 序列标注

📋 核心要点

  1. 现有的微调方法未能有效处理LLM引入的注释噪声，导致模型性能下降。
  2. 本文提出了一种错误类型感知的损失重加权方法，针对不同类型的错误标记进行单独处理。
  3. 实验结果显示，在噪声水平为15%至40%时，F1得分平均提升0.8至2.0个百分点，最大提升达到4.6个百分点。

📝 摘要（中文）

大型语言模型（LLM）越来越多地用于为训练小型任务专用模型（如命名实体识别）注释数据集。然而，当前的微调过程忽略了LLM引入的注释噪声，导致性能下降。本文提出了一种错误类型感知的损失重加权方法，为不同类型的潜在错误标记引入单独的重加权规则，从而提高了模型的鲁棒性。实验表明，该方法在15%至40%的噪声水平下，F1得分平均提高了0.8至2.0个百分点，最大提升为4.6个百分点。

🔬 方法详解

问题定义：本文旨在解决命名实体识别（NER）任务中，由大型语言模型（LLM）引入的注释噪声问题。现有方法未能有效处理这些噪声，导致模型性能下降，尤其是当噪声类型多样时。

核心思路：论文提出的核心思路是根据不同类型的错误标记（如缺失提及和类型错误）引入单独的损失重加权规则。这种方法旨在保留有用的监督信息，同时减少对错误标签的影响。

技术框架：整体架构包括数据预处理、错误类型识别和损失重加权三个主要模块。首先对输入数据进行预处理，识别潜在的错误类型，然后根据识别结果调整损失函数的权重。

关键创新：最重要的技术创新点在于引入了针对不同错误类型的重加权机制，区别于现有方法对所有噪声标记一视同仁的处理方式。这种方法能够更有效地利用标注信息，提升模型的鲁棒性。

关键设计：在损失函数设计上，采用了动态重加权策略，根据错误类型调整损失权重。此外，模型训练过程中不需要额外的训练资源，保持了高效性。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果表明，提出的方法在噪声水平为15%至40%时，F1得分平均提升0.8至2.0个百分点，最大提升达到4.6个百分点。这些结果显著优于现有的噪声鲁棒损失方法，验证了错误类型感知重加权的有效性。

🎯 应用场景

该研究的潜在应用领域包括信息提取、文本分析和自然语言处理等。通过提高命名实体识别模型在噪声数据上的鲁棒性，可以为实际应用提供更可靠的支持，特别是在数据质量不高的情况下。未来，该方法还可以扩展到其他序列标注任务中，进一步提升模型性能。

📄 摘要（原文）

Large language models are increasingly used to annotate datasets for training smaller, task-specialized models such as named entity recognition. While this method yields effective models, it assumes that the synthetic dataset is correctly annotated. In this work, we find that (i) current fine-tuning processes simply ignore LLM-introduced annotation noise, resulting in degraded performance and (ii) existing noise-robust losses are not transferable to sequence labeling because annotation noise in named entity recognition is heterogeneous: for example, missing mentions and type errors affect the training signal in different ways. Treating all noisy tokens equally in noise-robust losses and applying a single reweighing criterion for all may therefore remove useful supervision or reinforce incorrect labels. To address this limitation, we propose error-type-aware loss reweighting for NER, which introduces separate reweighing rules for different types of potentially erroneous tokens. Our approach is simple and efficient, does not require additional training resources, and improves F1 by 0.8 - 2.0 percentage points on dataset-level average for noise levels between 15% and 40%, with a maximum improvement of 4.6 percentage points with 24.1% noise on Wikigold.