Using Natural Language Explanations to Improve Robustness of In-context Learning

📄 arXiv: 2311.07556v2 📥 PDF

作者: Xuanli He, Yuxiang Wu, Oana-Maria Camburu, Pasquale Minervini, Pontus Stenetorp

分类: cs.CL

发布日期: 2023-11-13 (更新: 2024-05-20)

备注: accepted to ACL2024 (main)

💡 一句话要点

通过自然语言解释提升上下文学习的鲁棒性

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 自然语言处理 对抗性学习 上下文学习 语言模型 鲁棒性提升

📋 核心要点

  1. 现有的ICL方法在对抗性输入下表现不佳，导致结果不准确，亟需提升鲁棒性。
  2. 本文提出通过自然语言解释（NLEs）增强ICL的鲁棒性，利用人类生成的NLEs生成更多解释。
  3. 在五种流行的LLMs上，实验结果显示该方法在八个对抗数据集上提升了超过6%的准确率。

📝 摘要（中文）

近期研究表明，大型语言模型（LLMs）在许多任务中通过上下文学习（ICL）表现出色。然而，ICL提示模型在面对对抗性输入时，结果往往不准确。本文探讨了通过自然语言解释（NLEs）增强ICL的鲁棒性，针对自然语言推理和释义识别的对抗数据集进行实验。我们使用少量人类生成的NLEs提示LLMs生成更多NLEs，结果显示比零-shot ICL设置和仅使用人类生成的NLEs更为准确。在五种流行的LLMs（GPT3.5-turbo、Llama2、Vicuna、Zephyr和Mistral）上，我们的方法在八个对抗数据集上实现了超过6%的提升。此外，尽管之前的研究表明提示选择策略显著提升ICL在分布内测试集上的表现，但我们的发现表明这些策略在鲁棒性评估中的效果不及我们的方法，准确率下降了8%。

🔬 方法详解

问题定义：本文旨在解决大型语言模型在对抗性输入下的鲁棒性不足问题。现有的ICL方法在面对对抗性数据时，准确性显著下降，亟需改进。

核心思路：论文提出通过引入自然语言解释（NLEs）来增强ICL的鲁棒性。通过提示LLMs生成更多的NLEs，模型能够更好地理解和处理对抗性输入，从而提高准确性。

技术框架：整体方法包括两个主要阶段：首先，使用少量人类生成的NLEs作为提示；其次，基于这些提示生成更多的NLEs，最终用于改进模型的输出。

关键创新：最重要的创新点在于通过NLEs的生成与使用，显著提升了模型在对抗性数据集上的表现。这一方法与传统的ICL方法相比，能够更有效地应对对抗性输入。

关键设计：在实验中，选择了五种流行的LLMs进行测试，使用了八个对抗数据集。关键参数设置包括NLEs的数量和生成策略，确保模型能够充分利用这些解释来提升鲁棒性。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果表明，所提出的方法在八个对抗数据集上相比基线方法提升了超过6%的准确率。此外，与传统的提示选择策略相比，该方法在鲁棒性评估中表现更佳，准确率下降幅度仅为8%。

🎯 应用场景

该研究的潜在应用领域包括自然语言处理、对话系统和智能问答等。通过提升模型在对抗性输入下的鲁棒性，可以增强其在实际应用中的可靠性和准确性，具有重要的实际价值和未来影响。

📄 摘要（原文）

Recent studies demonstrated that large language models (LLMs) can excel in many tasks via in-context learning (ICL). However, recent works show that ICL-prompted models tend to produce inaccurate results when presented with adversarial inputs. In this work, we investigate whether augmenting ICL with natural language explanations (NLEs) improves the robustness of LLMs on adversarial datasets covering natural language inference and paraphrasing identification. We prompt LLMs with a small set of human-generated NLEs to produce further NLEs, yielding more accurate results than both a zero-shot-ICL setting and using only human-generated NLEs. Our results on five popular LLMs (GPT3.5-turbo, Llama2, Vicuna, Zephyr, and Mistral) show that our approach yields over 6% improvement over baseline approaches for eight adversarial datasets: HANS, ISCS, NaN, ST, PICD, PISP, ANLI, and PAWS. Furthermore, previous studies have demonstrated that prompt selection strategies significantly enhance ICL on in-distribution test sets. However, our findings reveal that these strategies do not match the efficacy of our approach for robustness evaluations, resulting in an accuracy drop of 8% compared to the proposed approach.