Rapidly Developing High-quality Instruction Data and Evaluation Benchmark for Large Language Models with Minimal Human Effort: A Case Study on Japanese

📄 arXiv: 2403.03690v1 📥 PDF

作者: Yikun Sun, Zhen Wan, Nobuhiro Ueda, Sakiko Yahata, Fei Cheng, Chenhui Chu, Sadao Kurohashi

分类: cs.CL, cs.AI

发布日期: 2024-03-06

备注: COLING 2024. Our code are available here: \href{https://github.com/hitoshizuku7/awesome-Ja-self-instruct}{self-instruct data} and \href{https://github.com/ku-nlp/ja-vicuna-qa-benchmark}{evaluation benchmark}

💡 一句话要点

提出高效自指令方法以快速生成日语指令数据和评估基准

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 指令数据生成 评估基准 GPT-4 日语处理 自指令方法 自然语言处理 机器学习

📋 核心要点

  1. 现有方法在快速开发非英语语言的指令数据和评估基准时，面临大量人工标注的挑战。
  2. 本文提出了一种基于GPT-4的自指令方法，通过少量翻译和后期编辑生成高质量日语指令数据。
  3. 实验结果显示，基于该自指令数据微调的模型在性能上显著优于现有的日语Alpaca模型。

📝 摘要（中文）

为大型语言模型创建指令数据和评估基准通常需要大量人工标注，尤其是在快速开发非英语语言资源时尤为明显。本文提出了一种基于GPT-4的高效自指令方法，首先将少量英语指令翻译为日语并进行后期编辑，以达到母语水平的质量。随后，GPT-4利用这些示例自动生成日语指令数据。此外，构建了包含80个问题的评估基准，使用GPT-4自动评估LLM的响应质量。实验证明，基于我们的自指令数据微调的模型在所有基准模型中均显著优于日语Alpaca。

🔬 方法详解

问题定义：本文旨在解决为大型语言模型创建高质量日语指令数据和评估基准时所需的高人力成本问题。现有方法通常依赖于将英语资源直接翻译为日语，导致质量和效率的低下。

核心思路：论文提出了一种高效的自指令生成方法，首先通过翻译和后期编辑获得高质量的日语指令示例，然后利用这些示例训练GPT-4生成更多的日语指令数据，从而减少人工干预。

技术框架：整体流程包括两个主要阶段：第一阶段是将少量英语指令翻译并编辑为日语；第二阶段是使用GPT-4根据这些示例自动生成大量日语指令数据。同时，构建了一个包含80个问题的评估基准。

关键创新：最重要的创新在于采用自指令方法，利用GPT-4生成日语指令数据，而不是简单的翻译现有资源。这种方法显著提高了数据生成的效率和质量。

关键设计：在参数设置上，选择了适合日语的翻译模型，并在后期编辑中确保语言的自然流畅性。损失函数和网络结构方面，采用了GPT-4的预训练模型进行微调，以优化生成效果。

📊 实验亮点

实验结果表明，基于GPT-4自指令数据微调的模型在性能上显著优于日语Alpaca，尤其是LLaMA 13B模型在与GPT-3.5（Davinci-003）的对比中，取得了54.37%的胜率。此外，GPT-4的评估结果与人类偏好高度一致，验证了评估方法的有效性。

🎯 应用场景

该研究的潜在应用领域包括自然语言处理、机器翻译和人机交互等。通过快速生成高质量的指令数据和评估基准，可以显著提升非英语语言模型的训练效率和性能，推动多语言AI系统的发展。未来，该方法可扩展至其他语言，进一步降低人工标注成本。

📄 摘要（原文）

The creation of instruction data and evaluation benchmarks for serving Large language models often involves enormous human annotation. This issue becomes particularly pronounced when rapidly developing such resources for a non-English language like Japanese. Instead of following the popular practice of directly translating existing English resources into Japanese (e.g., Japanese-Alpaca), we propose an efficient self-instruct method based on GPT-4. We first translate a small amount of English instructions into Japanese and post-edit them to obtain native-level quality. GPT-4 then utilizes them as demonstrations to automatically generate Japanese instruction data. We also construct an evaluation benchmark containing 80 questions across 8 categories, using GPT-4 to automatically assess the response quality of LLMs without human references. The empirical results suggest that the models fine-tuned on our GPT-4 self-instruct data significantly outperformed the Japanese-Alpaca across all three base pre-trained models. Our GPT-4 self-instruct data allowed the LLaMA 13B model to defeat GPT-3.5 (Davinci-003) with a 54.37\% win-rate. The human evaluation exhibits the consistency between GPT-4's assessments and human preference. Our high-quality instruction data and evaluation benchmark have been released here.