Can Large Language Models Follow Concept Annotation Guidelines? A Case Study on Scientific and Financial Domains

📄 arXiv: 2311.08704v2 📥 PDF

作者: Marcio Fonseca, Shay B. Cohen

分类: cs.CL, cs.AI

发布日期: 2023-11-15 (更新: 2024-06-27)

备注: ACL 2024 camera ready

💡 一句话要点

研究大型语言模型在概念标注指南中的应用能力

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 大型语言模型 概念标注 句子分类 反事实学习 模型微调

📋 核心要点

  1. 现有大型语言模型在学习新概念方面存在局限，尤其是在反事实上下文中表现不佳。
  2. 论文通过设计不同类型的概念定义指南，探索LLMs在句子标注任务中的应用能力。
  3. 实验结果显示，较大的模型在反事实上下文中的表现有限，且微调效果优于单纯增加模型规模。

📝 摘要（中文）

尽管大型语言模型（LLMs）在利用上下文示例方面表现出色，但它们在从真实标签中学习新概念或事实的能力仍不明确。为了解决这一问题，本文考察了经过指令调优的LLMs在句子标注任务中遵循上下文概念指南的能力。我们设计了不同类型的事实和反事实概念定义作为零样本句子分类任务的提示。结果表明，尽管概念定义对任务表现有帮助，但只有参数超过70B的大型模型在反事实上下文中表现有限。重要的是，只有像GPT-3.5和GPT-4这样的专有模型能够识别无意义的指南，这可能与其更复杂的对齐方法有关。最后，我们发现Falcon-180B-chat在大多数情况下不如Llama-2-70B-chat，这表明细致的微调比单纯增加模型规模更有效。

🔬 方法详解

问题定义：本文旨在探讨大型语言模型在遵循概念标注指南方面的能力，尤其是在反事实上下文中的表现。现有方法在处理复杂概念时存在不足，导致模型理解能力受限。

核心思路：通过设计多种概念定义的提示，论文评估了不同规模的LLMs在句子标注任务中的表现，重点关注模型对反事实概念的理解能力。

技术框架：研究采用了指令调优的LLMs，设计了包含事实和反事实概念定义的提示，进行零样本句子分类任务。实验比较了不同模型的性能，特别是专有模型与开源模型之间的差异。

关键创新：论文的创新在于系统性地评估了LLMs在遵循概念指南方面的能力，尤其是揭示了反事实上下文对模型表现的影响，这在现有文献中较少涉及。

关键设计：在实验中，使用了不同规模的模型（如70B及以上），并通过精细调优来优化模型性能，结果显示微调比单纯增加模型规模更为有效。具体的参数设置和损失函数未在摘要中详细说明。

🖼️ 关键图片

fig_0
fig_1

📊 实验亮点

实验结果表明，概念定义对任务表现有显著帮助，但仅有70B参数以上的模型在反事实上下文中表现有限。GPT-3.5和GPT-4能够识别无意义的指南，而Falcon-180B-chat在大多数情况下不如Llama-2-70B-chat，显示出微调的重要性。

🎯 应用场景

该研究的潜在应用领域包括科学和金融文本的自动标注、信息提取和知识图谱构建。通过提高大型语言模型对概念的理解能力，可以在多个领域实现更高效的文本处理和分析，推动智能系统的进一步发展。

📄 摘要（原文）

Although large language models (LLMs) exhibit remarkable capacity to leverage in-context demonstrations, it is still unclear to what extent they can learn new concepts or facts from ground-truth labels. To address this question, we examine the capacity of instruction-tuned LLMs to follow in-context concept guidelines for sentence labeling tasks. We design guidelines that present different types of factual and counterfactual concept definitions, which are used as prompts for zero-shot sentence classification tasks. Our results show that although concept definitions consistently help in task performance, only the larger models (with 70B parameters or more) have limited ability to work under counterfactual contexts. Importantly, only proprietary models such as GPT-3.5 and GPT-4 can recognize nonsensical guidelines, which we hypothesize is due to more sophisticated alignment methods. Finally, we find that Falcon-180B-chat is outperformed by Llama-2-70B-chat is most cases, which indicates that careful fine-tuning is more effective than increasing model scale. Altogether, our simple evaluation method reveals significant gaps in concept understanding between the most capable open-source language models and the leading proprietary APIs.