NEO-BENCH: Evaluating Robustness of Large Language Models with Neologisms

📄 arXiv: 2402.12261v4 📥 PDF

作者: Jonathan Zheng, Alan Ritter, Wei Xu

分类: cs.CL

发布日期: 2024-02-19 (更新: 2024-08-13)

备注: accepted to ACL 2024 main conference, 9 pages

💡 一句话要点

提出NEO-BENCH以评估大语言模型对新词的鲁棒性

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 大语言模型 新词评估 自然语言处理 机器翻译 模型鲁棒性 语言变化 基准测试

📋 核心要点

  1. 现有大语言模型在处理新词时性能显著下降，尤其在机器翻译任务中，导致模型效果不佳。
  2. 本文提出NEO-BENCH基准，旨在评估大语言模型对新词的泛化能力，采用多种自然语言理解任务进行测试。
  3. 实验结果显示，单个新词的引入会使机器翻译性能几乎减半，且知识截止日期较晚的模型在下游任务中表现更好。

📝 摘要（中文）

大语言模型（LLMs）的性能因训练数据与推理过程中遇到的新文本之间的时间漂移而下降。本文关注新词（neologisms）的出现对数据漂移的影响，构建了一个多样化的英语新词资源，并通过比较包含新词的句子与替换为现有词汇的句子来分析时间漂移。研究发现，当句子中引入单个新词时，机器翻译的模型性能几乎减半。基于这些结果，本文构建了一个基准，以评估LLMs在各种自然语言理解任务中的新词泛化能力。研究表明，知识截止日期较晚的模型在下游任务中表现更佳，且新词的语言来源对模型的影响也不同，显示出新词对静态LLMs的复杂性。我们将发布基准和实验代码。

🔬 方法详解

问题定义：本文旨在解决大语言模型在面对新词时性能下降的问题，现有方法未充分考虑新词对模型的影响，导致模型在实际应用中表现不佳。

核心思路：通过构建一个包含多样化新词的基准，评估大语言模型在自然语言理解任务中的泛化能力，特别是对新词的适应性。

技术框架：研究首先收集新词数据，然后设计实验比较包含新词和替代词的句子，最后分析模型在不同任务中的表现。主要模块包括新词收集、性能评估和模型比较。

关键创新：NEO-BENCH基准的构建是本文的核心创新，提供了一个系统化的方法来评估模型对新词的鲁棒性，与传统评估方法相比，更加关注语言变化的动态性。

关键设计：在实验中，选择了多种自然语言理解任务，设置了不同的知识截止日期，并分析了新词的语言来源对模型性能的影响，确保评估的全面性和准确性。

📊 实验亮点

实验结果表明，当句子中引入单个新词时，机器翻译的模型性能几乎减半。此外，知识截止日期较晚的模型在下游任务中表现更佳，显示出对新词的适应能力显著提升。

🎯 应用场景

该研究的潜在应用领域包括机器翻译、文本生成和对话系统等，能够帮助开发更具鲁棒性和适应性的语言模型，提升其在动态语言环境中的表现。未来，随着新词的不断涌现，NEO-BENCH基准将为模型的持续优化提供重要参考。

📄 摘要（原文）

The performance of Large Language Models (LLMs) degrades from the temporal drift between data used for model training and newer text seen during inference. One understudied avenue of language change causing data drift is the emergence of neologisms -- new word forms -- over time. We create a diverse resource of recent English neologisms by using several popular collection methods. We analyze temporal drift using neologisms by comparing sentences containing new words with near-identical sentences that replace neologisms with existing substitute words. Model performance is nearly halved in machine translation when a single neologism is introduced in a sentence. Motivated by these results, we construct a benchmark to evaluate LLMs' ability to generalize to neologisms with various natural language understanding tasks and model perplexity. Models with later knowledge cutoff dates yield lower perplexities and perform better in downstream tasks. LLMs are also affected differently based on the linguistic origins of words, indicating that neologisms are complex for static LLMs to address. We will release our benchmark and code for reproducing our experiments.