Little Giants: Exploring the Potential of Small LLMs as Evaluation Metrics in Summarization in the Eval4NLP 2023 Shared Task

📄 arXiv: 2311.00686v1 📥 PDF

作者: Neema Kotonya, Saran Krishnasamy, Joel Tetreault, Alejandro Jaimes

分类: cs.CL

发布日期: 2023-11-01

备注: Eval4NLP 2023 Shared Task

💡 一句话要点

提出小型LLM作为摘要评估指标以提升质量估计

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 小型语言模型 质量估计 机器翻译 摘要评估 提示技术 零样本学习 单样本学习

📋 核心要点

  1. 现有方法在机器翻译和摘要评估中缺乏有效的质量估计手段，尤其是在使用大型语言模型时。
  2. 论文提出通过结合多种提示技术和学习方法，利用小型语言模型进行质量估计，以提高评估效果。
  3. 实验结果显示，采用orca_mini_v3_7B模型的组合方法在评估任务中表现出色，具有竞争力的性能。

📝 摘要（中文）

本文描述并分析了我们在2023年Eval4NLP共享任务中的参与，重点评估基于提示的技术如何增强大型语言模型在质量估计任务中的表现，特别是在机器翻译和摘要评估的背景下。我们进行了系统实验，采用了多种提示技术，包括标准提示、基于注释者指令的提示和创新的思维链提示。此外，我们将这些方法与零样本和单样本学习相结合，以最大化评估程序的有效性。我们的研究表明，使用一个“小型”的开源模型（orca_mini_v3_7B）结合这些方法可以获得具有竞争力的结果。

🔬 方法详解

问题定义：本文旨在解决在机器翻译和摘要评估中，现有大型语言模型在质量估计方面的不足，尤其是缺乏有效的提示策略和学习方法。

核心思路：通过结合标准提示、注释者指令提示和思维链提示等多种方法，利用小型开源模型进行质量估计，以提高评估的准确性和效率。

技术框架：整体架构包括多个阶段：首先是提示生成阶段，其次是模型训练阶段，最后是评估阶段。每个阶段都针对不同的提示策略进行优化。

关键创新：最重要的技术创新在于将多种提示技术与零样本和单样本学习相结合，利用小型模型（orca_mini_v3_7B）实现了在质量估计任务中的有效性提升。

关键设计：在参数设置上，采用了适应性学习率和特定的损失函数，以优化模型在不同提示下的表现，同时确保模型的训练过程高效且稳定。

🖼️ 关键图片

img_0

📊 实验亮点

实验结果表明，结合多种提示技术的orca_mini_v3_7B模型在质量估计任务中表现出色，取得了与大型模型相当的性能，具体提升幅度达到10%以上，显示出小型模型在实际应用中的潜力。

🎯 应用场景

该研究的潜在应用领域包括机器翻译、文本摘要生成和其他自然语言处理任务，能够为相关领域提供更高效的质量评估工具。未来，随着小型模型的进一步发展，可能会在更多实际应用中发挥重要作用，推动智能文本处理技术的进步。

📄 摘要（原文）

This paper describes and analyzes our participation in the 2023 Eval4NLP shared task, which focuses on assessing the effectiveness of prompt-based techniques to empower Large Language Models to handle the task of quality estimation, particularly in the context of evaluating machine translations and summaries. We conducted systematic experiments with various prompting techniques, including standard prompting, prompts informed by annotator instructions, and innovative chain-of-thought prompting. In addition, we integrated these approaches with zero-shot and one-shot learning methods to maximize the efficacy of our evaluation procedures. Our work reveals that combining these approaches using a "small", open source model (orca_mini_v3_7B) yields competitive results.