Research Community Perspectives on "Intelligence" and Large Language Models

📄 arXiv: 2505.20959v1 📥 PDF

作者: Bertram Højer, Terne Sasha Thorn Jakobsen, Anna Rogers, Stefan Heinrich

分类: cs.CL, cs.CY

发布日期: 2025-05-27

备注: ACL Findings 2025

期刊: Findings of the Association for Computational Linguistics: ACL 2025

💡 一句话要点

调查研究者对“智能”及大型语言模型的看法

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 人工智能 自然语言处理 智能定义 研究调查 机器学习 认知科学 语言学 神经科学

📋 核心要点

  1. 核心问题：研究者对“智能”的定义模糊，导致对当前NLP系统智能性的看法存在分歧。
  2. 方法要点：通过对303名研究者的调查，识别出智能的三项主要标准，并分析其在研究议程中的作用。
  3. 实验或效果：调查结果显示，只有29%的研究者认为当前NLP系统是智能的，且仅16.2%将开发智能系统视为目标。

📝 摘要（中文）

尽管在自然语言处理（NLP）研究中普遍使用“人工智能”（AI）这一框架，但研究者对“智能”的定义并不明确。为此，我们进行了关于“智能”概念的调查，收集了来自303名研究者的完整反馈，涵盖NLP、机器学习（ML）、认知科学、语言学和神经科学等多个领域。我们识别出社区普遍认可的三项智能标准：泛化能力、适应性和推理能力。结果表明，当前NLP系统被视为“智能”的观点仅占少数（29%），而仅有16.2%的受访者将开发智能系统视为研究目标，这些受访者更可能认为当前系统是智能的。

🔬 方法详解

问题定义：本研究旨在明确研究者对“智能”的理解及其在NLP研究中的重要性。现有方法未能有效界定智能的标准，导致研究方向不明确。

核心思路：通过对不同领域研究者的调查，收集对“智能”概念的看法，识别出共同认可的智能标准，以此为基础推动NLP研究的深入。

技术框架：研究采用问卷调查的方式，涵盖多个领域的303名研究者，分析其对智能的理解及其在研究中的应用。主要模块包括问卷设计、数据收集与分析。

关键创新：本研究首次系统性地调查了研究者对“智能”的看法，识别出泛化能力、适应性和推理能力作为智能的核心标准，填补了现有文献的空白。

关键设计：问卷设计涵盖了对智能的定义、当前NLP系统的智能性评价及未来研究目标的看法，确保数据的全面性与代表性。调查结果通过定量分析方法进行处理，确保结论的可靠性。

📊 实验亮点

调查结果显示，只有29%的研究者认为当前的NLP系统具备智能特性，且仅16.2%的受访者将开发智能系统视为研究目标。这一发现揭示了研究者对智能的不同看法，强调了智能定义的重要性。

🎯 应用场景

该研究为NLP领域提供了对“智能”概念的深入理解，能够指导未来的研究方向和目标设定。通过明确智能的标准，研究者可以更有效地评估和开发智能系统，推动人工智能技术的进步。

📄 摘要（原文）

Despite the widespread use of ''artificial intelligence'' (AI) framing in Natural Language Processing (NLP) research, it is not clear what researchers mean by ''intelligence''. To that end, we present the results of a survey on the notion of ''intelligence'' among researchers and its role in the research agenda. The survey elicited complete responses from 303 researchers from a variety of fields including NLP, Machine Learning (ML), Cognitive Science, Linguistics, and Neuroscience. We identify 3 criteria of intelligence that the community agrees on the most: generalization, adaptability, & reasoning. Our results suggests that the perception of the current NLP systems as ''intelligent'' is a minority position (29%). Furthermore, only 16.2% of the respondents see developing intelligent systems as a research goal, and these respondents are more likely to consider the current systems intelligent.