Unified Low-Resource Sequence Labeling by Sample-Aware Dynamic Sparse Finetuning

📄 arXiv: 2311.03748v1 📥 PDF

作者: Sarkar Snigdha Sarathi Das, Ranran Haoran Zhang, Peng Shi, Wenpeng Yin, Rui Zhang

分类: cs.CL

发布日期: 2023-11-07

备注: Accepted by EMNLP 2023

💡 一句话要点

提出FISH-DIP以解决低资源序列标注问题

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 序列标注 低资源学习 动态稀疏微调 预训练语言模型 样本感知 自然语言处理 模型泛化 性能提升

📋 核心要点

  1. 现有方法在数据有限的情况下，微调大型预训练模型无法有效泛化到目标格式，限制了其应用。
  2. 本文提出FISH-DIP，通过样本感知的动态稀疏微调策略，选择性关注表现不佳的样本以改善模型泛化能力。
  3. 在五个序列标注任务中，FISH-DIP在低资源设置下实现了最高40%的性能提升，表现优于其他微调方法。

📝 摘要（中文）

统一序列标注能够将命名实体识别、关系抽取、语义角色标注等不同序列标注问题以通用的序列到序列格式进行表达，从而最大化利用大语言模型的知识进行结构化预测。然而，这需要将数据格式化为预训练语言模型（PLMs）未知的专用增强格式，导致在数据有限的环境中，微调大型模型无法有效泛化。为了解决这一挑战并有效利用PLM知识，本文提出了一种样本感知的动态稀疏微调策略FISH-DIP，该策略在微调过程中选择性地关注一部分参数，优先改善表现不佳的实例。实验表明，FISH-DIP在低资源环境下可实现最高40%的性能提升，并在极低资源设置中表现优于其他参数高效微调方法。

🔬 方法详解

问题定义：本文旨在解决在低资源环境下，如何有效利用预训练语言模型进行序列标注任务的问题。现有方法在数据有限时，微调大型模型的效果不佳，无法适应目标格式。

核心思路：FISH-DIP的核心思想是通过样本感知的动态稀疏微调，选择性地聚焦于表现不佳的样本，从而提高模型的泛化能力。通过动态调整关注的参数，减少对已学习样本的影响。

技术框架：FISH-DIP的整体架构包括数据预处理、动态稀疏选择、微调过程和性能评估四个主要模块。在微调过程中，模型根据反馈动态调整关注的参数。

关键创新：FISH-DIP的主要创新在于其样本感知的动态稀疏微调策略，区别于传统的全参数微调方法，能够更有效地利用有限的数据资源。

关键设计：在参数设置上，FISH-DIP通过反馈机制选择性地调整关注的参数，损失函数设计上强调对表现不佳样本的优化，确保模型在低资源环境下的有效学习。

🖼️ 关键图片

fig_0
img_1

📊 实验亮点

实验结果显示，FISH-DIP在五个序列标注任务中，能够在低资源设置下实现最高40%的性能提升，相较于全参数微调方法表现更优。此外，在极低资源环境中，FISH-DIP的性能与其他参数高效微调方法相比，表现相当或更好。

🎯 应用场景

该研究的潜在应用领域包括自然语言处理中的命名实体识别、关系抽取和语义角色标注等任务，尤其适用于数据稀缺的场景。通过提高模型在低资源环境下的性能，FISH-DIP有助于推动相关技术在实际应用中的落地，具有重要的实际价值和未来影响。

📄 摘要（原文）

Unified Sequence Labeling that articulates different sequence labeling problems such as Named Entity Recognition, Relation Extraction, Semantic Role Labeling, etc. in a generalized sequence-to-sequence format opens up the opportunity to make the maximum utilization of large language model knowledge toward structured prediction. Unfortunately, this requires formatting them into specialized augmented format unknown to the base pretrained language model (PLMs) necessitating finetuning to the target format. This significantly bounds its usefulness in data-limited settings where finetuning large models cannot properly generalize to the target format. To address this challenge and leverage PLM knowledge effectively, we propose FISH-DIP, a sample-aware dynamic sparse finetuning strategy that selectively focuses on a fraction of parameters, informed by feedback from highly regressing examples, during the fine-tuning process. By leveraging the dynamism of sparsity, our approach mitigates the impact of well-learned samples and prioritizes underperforming instances for improvement in generalization. Across five tasks of sequence labeling, we demonstrate that FISH-DIP can smoothly optimize the model in low resource settings offering upto 40% performance improvements over full fine-tuning depending on target evaluation settings. Also, compared to in-context learning and other parameter-efficient fine-tuning approaches, FISH-DIP performs comparably or better, notably in extreme low-resource settings.