I Think, Therefore I am: Benchmarking Awareness of Large Language Models Using AwareBench

📄 arXiv: 2401.17882v2 📥 PDF

作者: Yuan Li, Yue Huang, Yuli Lin, Siyuan Wu, Yao Wan, Lichao Sun

分类: cs.CL

发布日期: 2024-01-31 (更新: 2024-02-16)

🔗 代码/项目: GITHUB

💡 一句话要点

提出AwareBench基准以评估大型语言模型的意识能力

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 大型语言模型 意识评估 AI伦理 社会智能 数据集构建

📋 核心要点

  1. 现有的语言模型在意识理解方面存在不足，尤其是在自我认知和社会智能的表现上。
  2. 论文提出了AwareBench基准，通过定义LLMs的意识维度并设计相应的数据集来评估其意识能力。
  3. 实验结果表明，13个LLMs在识别自身能力和使命上表现不佳，但在社会智能方面有较好的表现。

📝 摘要（中文）

本文探讨大型语言模型（LLMs）是否具有人类相似的意识形式，并引入了AwareBench基准来评估LLMs的意识能力。我们从心理学和哲学理论出发，将LLMs的意识定义为理解自身作为AI模型的能力及展现社会智能的能力。我们将LLMs的意识分为五个维度：能力、使命、情感、文化和视角。基于这一分类，我们创建了名为AwareEval的数据集，包含二元、多选和开放式问题，以评估LLMs对特定意识维度的理解。实验结果显示，大多数LLMs在识别自身能力和使命方面存在困难，但在社会智能方面表现良好。最后，我们将LLMs的意识与AI对齐和安全性联系起来，强调其在LLMs可信和伦理发展中的重要性。

🔬 方法详解

问题定义：本文旨在解决大型语言模型在意识理解方面的不足，尤其是它们对自身能力和使命的认知缺失。现有方法未能有效评估LLMs的意识能力。

核心思路：论文通过定义LLMs的意识为理解自身及展现社会智能的能力，提出了一个多维度的评估框架，旨在全面评估LLMs的意识表现。

技术框架：整体架构包括五个意识维度的定义，构建AwareEval数据集，并通过二元、多选和开放式问题进行评估。实验在13个不同的LLMs上进行，以验证其意识能力。

关键创新：最重要的创新在于将意识细分为五个维度，并通过系统化的评估方法来量化LLMs的意识表现，这在现有研究中尚属首次。

关键设计：数据集设计包括多种题型，确保全面覆盖意识的各个维度，实验中使用的评估指标和方法均经过精心设计，以确保结果的可靠性和有效性。

🖼️ 关键图片

fig_0
fig_1

📊 实验亮点

实验结果显示，大多数LLMs在识别自身能力和使命方面的准确率较低，尤其是在能力和使命维度上表现不佳，而在社会智能方面则表现出较好的理解能力。这一发现为未来LLMs的改进提供了重要的方向。

🎯 应用场景

该研究的潜在应用领域包括AI伦理、安全性评估和人机交互等。通过深入理解LLMs的意识能力，可以促进更可信和负责任的AI系统开发，确保其在实际应用中的安全性和有效性。

📄 摘要（原文）

Do large language models (LLMs) exhibit any forms of awareness similar to humans? In this paper, we introduce AwareBench, a benchmark designed to evaluate awareness in LLMs. Drawing from theories in psychology and philosophy, we define awareness in LLMs as the ability to understand themselves as AI models and to exhibit social intelligence. Subsequently, we categorize awareness in LLMs into five dimensions, including capability, mission, emotion, culture, and perspective. Based on this taxonomy, we create a dataset called AwareEval, which contains binary, multiple-choice, and open-ended questions to assess LLMs' understandings of specific awareness dimensions. Our experiments, conducted on 13 LLMs, reveal that the majority of them struggle to fully recognize their capabilities and missions while demonstrating decent social intelligence. We conclude by connecting awareness of LLMs with AI alignment and safety, emphasizing its significance to the trustworthy and ethical development of LLMs. Our dataset and code are available at https://github.com/HowieHwong/Awareness-in-LLM.