KorNAT: LLM Alignment Benchmark for Korean Social Values and Common Knowledge

📄 arXiv: 2402.13605v6 📥 PDF

作者: Jiyoung Lee, Minwoo Kim, Seungho Kim, Junghwan Kim, Seunghyun Won, Hwaran Lee, Edward Choi

分类: cs.CL

发布日期: 2024-02-21 (更新: 2024-06-06)

备注: Accepted at ACL 2024 Findings (35 pages, 7 figures, 16 tables)

🔗 代码/项目: HUGGINGFACE

💡 一句话要点

提出KorNAT以评估韩国社会价值观与常识的对齐

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 大型语言模型 国家对齐 社会价值 常识评估 数据集构建 文化理解 机器学习

📋 核心要点

  1. 现有的语言模型在理解特定国家的文化和社会价值方面存在不足，影响其实际应用效果。
  2. 论文提出了KorNAT基准，通过社会价值和常识对齐的方式，系统评估LLM对韩国文化的理解。
  3. 实验结果显示，七个LLM中仅有少数模型达到参考分数，表明该领域仍有显著的改进空间。

📝 摘要（中文）

为了使大型语言模型（LLMs）能够有效部署于特定国家，它们必须理解该国的文化和基本知识。为此，我们引入了国家对齐的概念，评估LLM与目标国家之间的对齐程度，包括社会价值对齐和常识对齐。社会价值对齐评估模型对特定国家社会价值的理解程度，而常识对齐则考察模型对与该国相关的基本知识的掌握情况。我们构建了KorNAT，这是第一个衡量与韩国的国家对齐的基准。该基准包含4K和6K个关于社会价值和常识的多项选择题，数据集的创建过程经过精心设计，并经过多轮人工审核。实验结果显示，只有少数模型达到了参考分数，表明仍有进一步提升的潜力。KorNAT已获得政府批准，经过政府相关组织的评估。

🔬 方法详解

问题定义：本论文旨在解决大型语言模型在理解特定国家文化和社会价值方面的不足，现有方法缺乏针对特定国家的系统评估机制。

核心思路：通过构建KorNAT基准，论文提出了一种评估LLM与韩国社会价值和常识对齐的新方法，强调了文化背景的重要性。

技术框架：KorNAT基准由两个主要模块组成：社会价值对齐和常识对齐。每个模块包含大量的多项选择题，旨在全面评估模型的对齐程度。

关键创新：KorNAT是首个针对韩国的国家对齐基准，结合了社会价值和常识的评估，填补了现有研究的空白。

关键设计：数据集的创建基于统计抽样理论，经过大规模调查和多轮人工审核，确保了数据的准确性和代表性。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果表明，七个大型语言模型中，只有少数模型达到了参考分数，显示出在社会价值和常识对齐方面的显著不足，提示了未来改进的方向。

🎯 应用场景

该研究的潜在应用领域包括教育、社交媒体和政府服务等，能够帮助开发更符合韩国文化的语言模型，提高用户体验和模型的实际应用价值。未来，KorNAT可能成为其他国家语言模型对齐评估的参考标准。

📄 摘要（原文）

For Large Language Models (LLMs) to be effectively deployed in a specific country, they must possess an understanding of the nation's culture and basic knowledge. To this end, we introduce National Alignment, which measures an alignment between an LLM and a targeted country from two aspects: social value alignment and common knowledge alignment. Social value alignment evaluates how well the model understands nation-specific social values, while common knowledge alignment examines how well the model captures basic knowledge related to the nation. We constructed KorNAT, the first benchmark that measures national alignment with South Korea. For the social value dataset, we obtained ground truth labels from a large-scale survey involving 6,174 unique Korean participants. For the common knowledge dataset, we constructed samples based on Korean textbooks and GED reference materials. KorNAT contains 4K and 6K multiple-choice questions for social value and common knowledge, respectively. Our dataset creation process is meticulously designed and based on statistical sampling theory and was refined through multiple rounds of human review. The experiment results of seven LLMs reveal that only a few models met our reference score, indicating a potential for further enhancement. KorNAT has received government approval after passing an assessment conducted by a government-affiliated organization dedicated to evaluating dataset quality. Samples and detailed evaluation protocols of our dataset can be found in https://huggingface.co/datasets/jiyounglee0523/KorNAT .