Large Language Models aren't all that you need

📄 arXiv: 2401.00698v1 📥 PDF

作者: Kiran Voderhobli Holla, Chaithanya Kumar, Aryan Singh

分类: cs.CL, cs.AI, cs.LG

发布日期: 2024-01-01

💡 一句话要点

提出多种技术以提升多语言复杂命名实体识别性能

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 命名实体识别 多语言处理 大型语言模型 条件随机场 深度学习 模型优化 特征工程

📋 核心要点

  1. 现有的命名实体识别方法在多语言和复杂实体的处理上存在局限性，传统模型难以适应复杂场景。
  2. 本文提出了结合衰减辅助损失、三元组令牌混合和任务最优头部的多种技术，以提升LLM在命名实体识别中的表现。
  3. 实验结果表明，经过改进的模型在开发集和测试集上分别达到了0.85/0.84和0.67/0.61的F1分数，显示出显著的性能提升。

📝 摘要（中文）

本文描述了为解决SemEval 2023任务2：多语言复杂命名实体识别（MultiCoNER II）而构建的架构和系统。我们评估了两种方法：传统的条件随机场模型和经过定制头部微调的大型语言模型（LLM），并进行了比较。探索的新颖思想包括：1）衰减辅助损失（带残差）——在粗粒度命名实体识别的辅助任务上训练模型，并将该任务纳入损失函数；2）三元组令牌混合——在最终的命名实体识别层中探索邻近令牌嵌入的混合方式；3）任务最优头部——探索多种自定义头部和学习率。最终模型在开发集上获得了0.85/0.84的微观和宏观F1分数，在测试数据上为0.67/0.61。我们展示了预训练的LLM虽然能显著提升分数，但通过上述额外特征/损失/模型工程技术的增强，宏观F1分数也能得到实质性改善。

🔬 方法详解

问题定义：本文旨在解决多语言复杂命名实体识别（MultiCoNER II）任务，现有方法在处理复杂实体时表现不佳，尤其是传统模型在多语言环境下的适应性不足。

核心思路：通过引入衰减辅助损失、三元组令牌混合和任务最优头部等技术，增强大型语言模型（LLM）的性能，旨在通过多种特征和损失函数的结合，提升模型的识别能力。

技术框架：整体架构包括两个主要部分：传统的条件随机场模型和经过微调的LLM。模型训练过程中，首先在粗粒度命名实体识别任务上进行辅助训练，然后在最终的NER层中应用三元组令牌混合技术，最后通过自定义头部和学习率优化进行微调。

关键创新：最重要的技术创新在于引入了衰减辅助损失和三元组令牌混合，这些方法在现有的LLM基础上增加了额外的特征和损失函数，从而显著提升了模型的性能。

关键设计：在模型设计中，使用了多种超参数设置，包括不同的学习率和dropout率，以优化最终层的表现。同时，针对不同的LLM（如GPT-3）进行了多次实验，以确定最佳的模型配置。

📊 实验亮点

实验结果显示，经过改进的模型在开发集上达到了0.85的微观F1和0.84的宏观F1，在测试集上分别为0.67和0.61。与传统模型相比，预训练的LLM在分数上有显著提升，而通过额外的特征和损失设计，宏观F1分数也得到了实质性改善。

🎯 应用场景

该研究的潜在应用领域包括多语言信息提取、跨语言搜索引擎和智能客服系统等。通过提升复杂命名实体识别的准确性，能够有效改善信息检索和用户交互的质量，具有重要的实际价值和广泛的应用前景。

📄 摘要（原文）

This paper describes the architecture and systems built towards solving the SemEval 2023 Task 2: MultiCoNER II (Multilingual Complex Named Entity Recognition) [1]. We evaluate two approaches (a) a traditional Conditional Random Fields model and (b) a Large Language Model (LLM) fine-tuned with a customized head and compare the two approaches. The novel ideas explored are: 1) Decaying auxiliary loss (with residual) - where we train the model on an auxiliary task of Coarse-Grained NER and include this task as a part of the loss function 2) Triplet token blending - where we explore ways of blending the embeddings of neighboring tokens in the final NER layer prior to prediction 3) Task-optimal heads - where we explore a variety of custom heads and learning rates for the final layer of the LLM. We also explore multiple LLMs including GPT-3 and experiment with a variety of dropout and other hyperparameter settings before arriving at our final model which achieves micro & macro f1 of 0.85/0.84 (on dev) and 0.67/0.61 on the test data . We show that while pre-trained LLMs, by themselves, bring about a large improvement in scores as compared to traditional models, we also demonstrate that tangible improvements to the Macro-F1 score can be made by augmenting the LLM with additional feature/loss/model engineering techniques described above.