Active Instruction Tuning: Improving Cross-Task Generalization by Training on Prompt Sensitive Tasks

📄 arXiv: 2311.00288v1 📥 PDF

作者: Po-Nien Kung, Fan Yin, Di Wu, Kai-Wei Chang, Nanyun Peng

分类: cs.CL, cs.AI

发布日期: 2023-11-01

备注: EMNLP 2023 Main

💡 一句话要点

提出主动指令调优以解决跨任务泛化问题

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 指令调优 主动学习 任务选择 模型泛化 自然语言处理

📋 核心要点

  1. 现有的指令调优方法在任务选择上存在不足，随机选择可能导致性能下降。
  2. 本文提出基于提示不确定性的主动指令调优框架，旨在通过识别信息丰富的任务来提升模型性能。
  3. 实验结果显示，该方法在 NIV2 和 Self-Instruct 数据集上优于其他基线，且训练任务数量更少。

📝 摘要（中文）

指令调优（IT）通过在大量多样化任务上进行训练，取得了令人瞩目的零-shot 泛化结果。然而，如何选择新任务以提升 IT 模型的性能和泛化能力仍然是一个未解的问题。训练所有现有任务在计算上不可行，而随机选择任务可能导致次优性能。本文提出了一种基于提示不确定性的主动指令调优框架，旨在识别信息丰富的任务，并在选定任务上主动调优模型。实验结果表明，该方法在 NIV2 和 Self-Instruct 数据集上始终优于其他基线策略，实现了更好的分布外泛化，且所需训练任务更少。此外，我们引入了一个任务映射，基于提示不确定性和预测概率对任务进行分类和诊断，发现训练模糊（提示不确定）任务能提升泛化，而训练困难（提示确定且低概率）任务则没有益处，强调了任务选择在指令调优中的重要性。

🔬 方法详解

问题定义：本文解决的问题是如何有效选择新任务以提升指令调优模型的性能和泛化能力。现有方法在任务选择上存在计算成本高和随机选择导致性能不佳的痛点。

核心思路：论文的核心思路是通过分析模型输出在扰动提示下的分歧程度来评估任务的信息量，从而主动选择有助于模型泛化的任务进行训练。

技术框架：整体架构包括任务选择模块和模型调优模块。首先，通过计算当前模型在不同提示下的输出分歧来识别信息丰富的任务，然后在这些任务上进行主动调优。

关键创新：最重要的技术创新点在于提出了基于提示不确定性的任务选择方法，与现有的随机选择或全量训练方法本质上不同，强调了任务选择的策略性。

关键设计：在设计上，使用了模型输出的分歧度作为任务信息量的度量，并通过特定的损失函数来优化模型在选定任务上的表现。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果表明，提出的方法在 NIV2 和 Self-Instruct 数据集上相较于其他基线策略，能够更好地实现分布外泛化，且所需训练任务数量减少，具体提升幅度未明确给出，但整体性能显著优于对比方法。

🎯 应用场景

该研究的潜在应用领域包括自然语言处理中的任务适应、对话系统和智能助手等。通过优化任务选择，能够显著提升模型在多样化场景下的表现，具有重要的实际价值和未来影响。

📄 摘要（原文）

Instruction tuning (IT) achieves impressive zero-shot generalization results by training large language models (LLMs) on a massive amount of diverse tasks with instructions. However, how to select new tasks to improve the performance and generalizability of IT models remains an open question. Training on all existing tasks is impractical due to prohibiting computation requirements, and randomly selecting tasks can lead to suboptimal performance. In this work, we propose active instruction tuning based on prompt uncertainty, a novel framework to identify informative tasks, and then actively tune the models on the selected tasks. We represent the informativeness of new tasks with the disagreement of the current model outputs over perturbed prompts. Our experiments on NIV2 and Self-Instruct datasets demonstrate that our method consistently outperforms other baseline strategies for task selection, achieving better out-of-distribution generalization with fewer training tasks. Additionally, we introduce a task map that categorizes and diagnoses tasks based on prompt uncertainty and prediction probability. We discover that training on ambiguous (prompt-uncertain) tasks improves generalization while training on difficult (prompt-certain and low-probability) tasks offers no benefit, underscoring the importance of task selection for instruction tuning.