Contrastive Instruction Tuning

📄 arXiv: 2402.11138v2 📥 PDF

作者: Tianyi Lorena Yan, Fei Wang, James Y. Huang, Wenxuan Zhou, Fan Yin, Aram Galstyan, Wenpeng Yin, Muhao Chen

分类: cs.CL, cs.AI, cs.LG

发布日期: 2024-02-17 (更新: 2024-06-06)

备注: ACL 2024 Findings

🔗 代码/项目: GITHUB

💡 一句话要点

提出对比指令调优以解决LLM对未见指令的鲁棒性问题

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 指令调优 对比学习 大型语言模型 鲁棒性 自然语言处理 任务适应性 语义理解

📋 核心要点

  1. 现有大型语言模型在面对未见指令时表现出鲁棒性不足，导致输出不一致，影响信任度。
  2. 本文提出对比指令调优（CoIN），通过最大化语义等价指令对的相似性来增强模型的鲁棒性。
  3. 在PromptBench基准测试中，CoIN方法平均提升了2.5%的准确率，显著改善了模型对指令变体的适应能力。

📝 摘要（中文）

指令调优被认为是提升大型语言模型（LLMs）在未见任务上表现的有效方法。然而，现有LLMs对未见指令的鲁棒性有限，当指令以稍微不同的形式或语言风格表述时，输出结果不一致。为此，本文提出了对比指令调优（CoIN），旨在最大化语义等价指令实例对的隐藏表示之间的相似性，同时最小化语义不同的指令实例对之间的相似性。通过对现有FLAN集合进行任务指令的改写，实验结果表明，CoIN在PromptBench基准测试中，平均提升了LLMs对未见指令的鲁棒性，准确率提高了2.5%。代码可在https://github.com/luka-group/CoIN获取。

🔬 方法详解

问题定义：本文旨在解决大型语言模型对未见指令的鲁棒性不足问题。现有方法在处理稍有不同的指令表述时，输出结果不一致，导致信任度降低。

核心思路：提出对比指令调优（CoIN），通过最大化语义等价指令实例对的隐藏表示之间的相似性，同时最小化语义不同指令实例对之间的相似性，从而增强模型的鲁棒性。

技术框架：CoIN方法首先对现有FLAN集合进行任务指令的改写，生成语义等价的指令实例对。然后，通过对比学习的方式训练模型，使其在处理不同表述的指令时能够保持一致的输出。

关键创新：CoIN的主要创新在于引入对比学习机制，系统性地增强了模型对指令变体的适应能力，与传统的指令调优方法相比，显著提升了鲁棒性。

关键设计：在损失函数设计上，CoIN采用了对比损失，鼓励模型在语义相似的指令对上输出相似的表示，而在语义不同的指令对上输出不同的表示。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果显示，CoIN方法在PromptBench基准测试中，平均提升了2.5%的准确率，显著改善了大型语言模型对未见指令的鲁棒性，尤其在字符、单词、句子和语义层面的变体处理上表现优异。

🎯 应用场景

该研究具有广泛的应用潜力，尤其在需要处理多样化指令的自然语言处理任务中，如对话系统、智能助手和自动问答等。通过提升模型对未见指令的鲁棒性，可以增强用户体验和系统的信任度，推动智能应用的普及与发展。

📄 摘要（原文）

Instruction tuning has been used as a promising approach to improve the performance of large language models (LLMs) on unseen tasks. However, current LLMs exhibit limited robustness to unseen instructions, generating inconsistent outputs when the same instruction is phrased with slightly varied forms or language styles. This behavior indicates LLMs' lack of robustness to textual variations and generalizability to unseen instructions, potentially leading to trustworthiness issues. Accordingly, we propose Contrastive Instruction Tuning, which maximizes the similarity between the hidden representations of semantically equivalent instruction-instance pairs while minimizing the similarity between semantically different ones. To facilitate this approach, we augment the existing FLAN collection by paraphrasing task instructions. Experiments on the PromptBench benchmark show that CoIN consistently improves LLMs' robustness to unseen instructions with variations across character, word, sentence, and semantic levels by an average of +2.5% in accuracy. Code is available at https://github.com/luka-group/CoIN.