AlignBench: Benchmarking Chinese Alignment of Large Language Models

📄 arXiv: 2311.18743v4 📥 PDF

作者: Xiao Liu, Xuanyu Lei, Shengyuan Wang, Yue Huang, Zhuoer Feng, Bosi Wen, Jiale Cheng, Pei Ke, Yifan Xu, Weng Lam Tam, Xiaohan Zhang, Lichao Sun, Xiaotao Gu, Hongning Wang, Jing Zhang, Minlie Huang, Yuxiao Dong, Jie Tang

分类: cs.CL, cs.AI, cs.LG

发布日期: 2023-11-30 (更新: 2024-08-25)

备注: Accepted to ACL 2024

🔗 代码/项目: GITHUB

💡 一句话要点

提出AlignBench以评估中文大语言模型的对齐能力

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 大语言模型 对齐评估 中文处理 人机协作 多维基准

📋 核心要点

  1. 现有方法在评估中文大语言模型的对齐能力时缺乏系统性和有效性，导致评估结果不够可靠。
  2. AlignBench通过设计人机协作的数据策划流程，构建了一个多维度的评估基准，填补了中文LLMs对齐评估的空白。
  3. AlignBench已被多款顶尖中文LLMs应用于对齐能力评估，显示出其在实际应用中的有效性和可靠性。

📝 摘要（中文）

对齐已成为指令调优的大语言模型（LLMs）成为有用助手的关键步骤。然而，针对新兴中文LLMs的对齐有效评估仍然较少探索。为填补这一空白，我们提出了AlignBench，这是一个全面的多维基准，用于评估中文LLMs的对齐能力。我们设计了一个人机协作的数据策划流程，包含八个主要类别、683个真实场景的查询及相应的人类验证参考。为确保参考的正确性，每个知识密集型查询都附有来自可靠网络来源的证据。我们的基准采用了基于规则的多维LLM评估方法，确保高可靠性和可解释性。所有评估代码、数据和LLM生成结果均可在GitHub上获取。AlignBench自发布以来，已被多款顶尖中文LLMs采用。

🔬 方法详解

问题定义：论文要解决的问题是如何有效评估新兴中文大语言模型的对齐能力。现有方法缺乏系统性，难以提供可靠的评估结果。

核心思路：论文的核心解决思路是通过构建一个人机协作的数据策划流程，设计一个多维度的评估基准，以确保评估的全面性和准确性。

技术框架：整体架构包括数据策划、查询生成、参考验证和自动评估四个主要模块。数据策划阶段收集真实场景的查询，验证阶段确保参考的可靠性，自动评估则使用多维LLM评估方法进行评分。

关键创新：最重要的技术创新点在于引入了人机协作的数据策划流程和基于规则的多维LLM评估方法，这与现有方法的单一评估方式形成了鲜明对比。

关键设计：在关键设计上，论文设置了683个真实场景的查询，并为每个查询提供了来自可靠来源的证据，确保了评估的高可靠性和可解释性。

📊 实验亮点

AlignBench的实验结果显示，采用该基准的中文大语言模型在对齐能力评估中表现出显著提升，具体性能数据和对比基线将在GitHub上公开，展示了其在实际应用中的有效性。

🎯 应用场景

该研究的潜在应用领域包括中文大语言模型的开发与评估，尤其是在教育、客服和内容生成等领域。AlignBench的推出将为研究人员和开发者提供一个标准化的评估工具，推动中文LLMs的进一步发展与优化。

📄 摘要（原文）

Alignment has become a critical step for instruction-tuned Large Language Models (LLMs) to become helpful assistants. However, the effective evaluation of alignment for emerging Chinese LLMs is still largely unexplored. To fill in this gap, we introduce AlignBench, a comprehensive multi-dimensional benchmark for evaluating LLMs' alignment in Chinese. We design a human-in-the-loop data curation pipeline, containing eight main categories, 683 real-scenario rooted queries and corresponding human verified references. To ensure the correctness of references, each knowledge-intensive query is accompanied with evidences collected from reliable web sources (including URLs and quotations) by our annotators. For automatic evaluation, our benchmark employs a rule-calibrated multi-dimensional LLM-as-Judge~\cite{zheng2023judging} approach with Chain-of-Thought to generate explanations and final ratings, ensuring high reliability and interpretability. All evaluation code, data, and LLM generations are available at \url{https://github.com/THUDM/AlignBench}. Since its release, AlignBench has been adopted by top (Chinese) LLMs for evaluating their alignment capabilities in Chinese, including ChatGLM, Qwen, DeepSeek, Yi, Baichuan, and Abab.