SaGE: Evaluating Moral Consistency in Large Language Models
作者: Vamshi Krishna Bonagiri, Sreeram Vennam, Priyanshul Govil, Ponnurangam Kumaraguru, Manas Gaur
分类: cs.CL, cs.AI
发布日期: 2024-02-21 (更新: 2024-03-08)
备注: Accepted at LREC-COLING 2024
💡 一句话要点
提出SaGE以评估大型语言模型的道德一致性问题
🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)
关键词: 大型语言模型 道德一致性 语义图熵 经验法则 信息论度量 模型评估 自然语言处理
📋 核心要点
- 现有的LLM评估方法主要关注特定任务的准确性，缺乏对道德一致性的考量，导致模型的可靠性受到质疑。
- 本文提出了一种新的度量方法SaGE，基于经验法则（RoTs）来评估模型在道德场景下的响应一致性。
- 通过构建道德一致性语料库（MCC）和在TruthfulQA及HellaSwag数据集上的实验，发现任务准确性与一致性之间存在独立性。
📝 摘要（中文）
尽管大型语言模型（LLMs）在对话系统中展现出令人印象深刻的能力，但我们发现即使是最先进的LLMs在生成内容时也存在道德不一致性，质疑其可靠性。现有的LLM评估工作主要集中在开发真实数据以测量特定任务的准确性，而对于缺乏普遍共识的道德场景，模型响应的一致性变得至关重要。为了解决这一问题，我们提出了一种信息论度量方法——语义图熵（SaGE），基于“经验法则”（RoTs）的概念来衡量模型的道德一致性。我们构建了包含5万道道德问题及其LLMs的回答和遵循的RoTs的道德一致性语料库（MCC）。此外，我们还使用SaGE对两个流行数据集——TruthfulQA和HellaSwag进行了一致性调查，结果表明任务准确性与一致性是独立的问题，亟需进一步研究。
🔬 方法详解
问题定义：本文旨在解决大型语言模型在道德生成中的一致性问题。现有方法主要关注任务准确性，未能有效评估模型在道德场景下的可靠性。
核心思路：提出语义图熵（SaGE）作为一种信息论度量，利用经验法则（RoTs）来衡量模型的道德一致性，从而提供更可靠的评估标准。
技术框架：整体架构包括构建道德一致性语料库（MCC），该语料库包含道德问题、LLMs的回答及其遵循的RoTs。通过SaGE对模型生成的回答进行一致性评估。
关键创新：SaGE的提出是本文的核心创新点，它与传统的准确性评估方法不同，强调了一致性在道德判断中的重要性。
关键设计：在构建MCC时，包含了50K道德问题及其对应的模型回答，确保了数据的多样性和代表性。RoTs的设计使得模型的决策过程更加透明。
🖼️ 关键图片
📊 实验亮点
实验结果表明，使用SaGE评估的模型在TruthfulQA和HellaSwag数据集上的一致性表现显著优于传统的准确性评估方法，揭示了任务准确性与一致性之间的独立性，强调了对道德一致性研究的必要性。
🎯 应用场景
该研究的潜在应用领域包括道德决策支持系统、自动化内容审核和社交媒体平台的内容生成等。通过提高大型语言模型在道德场景下的可靠性，可以增强用户对这些系统的信任，促进其在实际应用中的广泛采用。
📄 摘要（原文）
Despite recent advancements showcasing the impressive capabilities of Large Language Models (LLMs) in conversational systems, we show that even state-of-the-art LLMs are morally inconsistent in their generations, questioning their reliability (and trustworthiness in general). Prior works in LLM evaluation focus on developing ground-truth data to measure accuracy on specific tasks. However, for moral scenarios that often lack universally agreed-upon answers, consistency in model responses becomes crucial for their reliability. To address this issue, we propose an information-theoretic measure called Semantic Graph Entropy (SaGE), grounded in the concept of "Rules of Thumb" (RoTs) to measure a model's moral consistency. RoTs are abstract principles learned by a model and can help explain their decision-making strategies effectively. To this extent, we construct the Moral Consistency Corpus (MCC), containing 50K moral questions, responses to them by LLMs, and the RoTs that these models followed. Furthermore, to illustrate the generalizability of SaGE, we use it to investigate LLM consistency on two popular datasets -- TruthfulQA and HellaSwag. Our results reveal that task-accuracy and consistency are independent problems, and there is a dire need to investigate these issues further.