Position: Stop Making Unscientific AGI Performance Claims

📄 arXiv: 2402.03962v3 📥 PDF

作者: Patrick Altmeyer, Andrew M. Demetriou, Antony Bartlett, Cynthia C. S. Liem

分类: cs.AI, cs.CL

发布日期: 2024-02-06 (更新: 2024-05-31)

备注: 21 pages, 15 figures. Pre-print to be published at International Conference on Machine Learning (ICML) 2024

💡 一句话要点

提出警示以避免对AGI性能的非科学性声明

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 人工智能 AGI 大型语言模型 潜在表示 科学研究 模式识别 学术诚信

📋 核心要点

  1. 当前对AGI的研究中，存在将模型潜在表示与人类智能混淆的风险，导致非科学性声明的产生。
  2. 本文通过实证研究，强调模型潜在空间中发现的有意义模式不能被视为AGI的证据，呼吁学术界保持谨慎。
  3. 研究回顾了社会科学文献，指出人类倾向于寻找模式并进行拟人化，进一步加剧了对AI能力的误解。

📝 摘要（中文）

随着人工智能（AI）特别是大型语言模型（LLMs）的发展，观察到的AGI“火花”往往是虚假的。尽管LLMs能够提取有意义的潜在表示，并与外部变量相关联，但这些表示的相关性并不意味着模型具有人类般的智能。本文探讨了多种复杂模型，包括随机投影、矩阵分解、深度自编码器和变换器，发现它们都能成功提取信息以预测潜在或外部变量，但与AGI并无直接关联。我们呼吁学术界在解读和传播AI研究成果时要更加谨慎，避免误解模型表示与真实关系之间的相关性。

🔬 方法详解

问题定义：本文旨在解决对AGI性能的非科学性声明问题，现有方法未能有效区分模型潜在表示与人类智能之间的关系。

核心思路：通过探讨不同复杂度的模型，实证证明潜在空间中的模式并不代表AGI的存在，强调科学解读的重要性。

技术框架：研究涉及随机投影、矩阵分解、深度自编码器和变换器等多种模型，分析它们在信息提取和预测中的表现。

关键创新：提出了对模型潜在表示的重新审视，强调其与AGI无直接关联，挑战了当前对AI能力的普遍看法。

关键设计：研究中采用了多种模型架构，分析其在提取潜在表示时的表现，未设置特定的损失函数，而是关注模型输出与外部变量的相关性。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

研究结果表明，尽管多种模型能够提取有意义的潜在表示，但这些表示与AGI之间并无直接关联。通过对比不同模型的表现，强调了对AI能力的误解，呼吁学术界在研究传播中保持严谨。

🎯 应用场景

该研究对AI领域的理论和实践具有重要影响，尤其是在AGI的研究和评估中。通过明确AGI与模型表现之间的界限，能够帮助研究者和公众更科学地理解AI的能力和局限性，促进更负责任的AI研究和应用。

📄 摘要（原文）

Developments in the field of Artificial Intelligence (AI), and particularly large language models (LLMs), have created a 'perfect storm' for observing 'sparks' of Artificial General Intelligence (AGI) that are spurious. Like simpler models, LLMs distill meaningful representations in their latent embeddings that have been shown to correlate with external variables. Nonetheless, the correlation of such representations has often been linked to human-like intelligence in the latter but not the former. We probe models of varying complexity including random projections, matrix decompositions, deep autoencoders and transformers: all of them successfully distill information that can be used to predict latent or external variables and yet none of them have previously been linked to AGI. We argue and empirically demonstrate that the finding of meaningful patterns in latent spaces of models cannot be seen as evidence in favor of AGI. Additionally, we review literature from the social sciences that shows that humans are prone to seek such patterns and anthropomorphize. We conclude that both the methodological setup and common public image of AI are ideal for the misinterpretation that correlations between model representations and some variables of interest are 'caused' by the model's understanding of underlying 'ground truth' relationships. We, therefore, call for the academic community to exercise extra caution, and to be keenly aware of principles of academic integrity, in interpreting and communicating about AI research outcomes.