AraTrust: An Evaluation of Trustworthiness for LLMs in Arabic
作者: Emad A. Alghamdi, Reem I. Masoud, Deema Alnuhait, Afnan Y. Alomairi, Ahmed Ashraf, Mohamed Zaytoon
分类: cs.CL
发布日期: 2024-03-14 (更新: 2024-11-05)
💡 一句话要点
提出AraTrust以评估阿拉伯语LLMs的可信度
🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)
关键词: 阿拉伯语 大语言模型 可信度评估 人工智能 伦理 安全性 多项选择题
📋 核心要点
- 现有阿拉伯语LLMs的可信度评估缺乏全面的基准，导致安全性评估面临挑战。
- AraTrust通过522个多项选择题，系统性地评估阿拉伯语LLMs在多个维度的表现。
- 实验结果表明，GPT-4在可信度评估中表现最佳，而部分开源模型得分较低，未达60%。
📝 摘要（中文）
人工智能系统的快速发展和广泛接受凸显了理解其能力和潜在风险的迫切需求。鉴于阿拉伯语在AI研究中的复杂性和文化丰富性，本文提出了AraTrust，这是第一个针对阿拉伯语的LLMs可信度评估基准。AraTrust包含522个由人类撰写的多项选择题，涵盖真相、伦理、安全、身体健康、心理健康、不公平、非法活动、隐私和冒犯性语言等多个维度。我们对一组LLMs进行了评估，结果显示GPT-4是最可信的模型，而开源模型AceGPT 7B和Jais 13B的得分未能达到60%。
🔬 方法详解
问题定义：本文旨在解决阿拉伯语LLMs缺乏可信度评估基准的问题。现有方法未能全面评估其在阿拉伯语任务中的安全性和可靠性。
核心思路：AraTrust基于522个多项选择题，涵盖多个维度，提供了一个系统化的评估框架，以便更准确地评估阿拉伯语LLMs的可信度。
技术框架：AraTrust的整体架构包括题库构建、模型评估和结果分析三个主要模块。题库涵盖了伦理、安全、健康等多个维度，确保评估的全面性。
关键创新：AraTrust是首个针对阿拉伯语LLMs的可信度评估基准，填补了该领域的空白，提供了系统化的评估工具。
关键设计：在设计中，题库的多样性和覆盖面是关键，确保了评估的全面性和有效性。每个问题都经过严格审核，以确保其科学性和适用性。
🖼️ 关键图片
📊 实验亮点
实验结果显示，GPT-4在AraTrust基准测试中表现最佳，可信度得分高于其他模型。开源模型AceGPT 7B和Jais 13B的得分未能达到60%，显示出在阿拉伯语任务中的不足。这一结果强调了对阿拉伯语LLMs进行深入评估的必要性。
🎯 应用场景
AraTrust的研究成果可广泛应用于阿拉伯语的人工智能系统开发和评估，特别是在教育、医疗和法律等领域。通过提供可信度评估，能够帮助开发者优化模型，提升用户信任度，促进阿拉伯语AI技术的健康发展。
📄 摘要（原文）
The swift progress and widespread acceptance of artificial intelligence (AI) systems highlight a pressing requirement to comprehend both the capabilities and potential risks associated with AI. Given the linguistic complexity, cultural richness, and underrepresented status of Arabic in AI research, there is a pressing need to focus on Large Language Models (LLMs) performance and safety for Arabic-related tasks. Despite some progress in their development, there is a lack of comprehensive trustworthiness evaluation benchmarks, which presents a major challenge in accurately assessing and improving the safety of LLMs when prompted in Arabic. In this paper, we introduce AraTrust, the first comprehensive trustworthiness benchmark for LLMs in Arabic. AraTrust comprises 522 human-written multiple-choice questions addressing diverse dimensions related to truthfulness, ethics, safety, physical health, mental health, unfairness, illegal activities, privacy, and offensive language. We evaluated a set of LLMs against our benchmark to assess their trustworthiness. GPT-4 was the most trustworthy LLM, while open-source models, particularly AceGPT 7B and Jais 13B, struggled to achieve a score of 60% in our benchmark.