CogArena: Benchmarking Multimodal Agents on Interactive Behavioral Experiments
作者: Kianté Fernandez, Caitlin Chen, Jialu Zhou, Bartek Sadowski, Anthony C. Miceli, Ian Krajbich
分类: cs.AI, cs.CY, cs.HC, q-bio.NC
发布日期: 2026-10-27
备注: 28 pages, 4 figures, 11 tables. Accepted at NeurIPS 2026 (Evaluations & Datasets Track). Code: https://github.com/kiante-fernandez/CogArena. Leaderboard: https://cog-arena.vercel.app
💡 一句话要点
提出CogArena以评估多模态智能体在互动行为实验中的表现
🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)
关键词: 多模态智能体 行为实验 认知能力评估 在线数据集 实验范式
📋 核心要点
- 现有方法通常通过文本提示测试大型语言模型的认知能力，忽视了人类参与者的真实实验环境。
- CogArena通过标准网页浏览器让智能体参与实验，使用与人类相同的视觉刺激和响应界面，提供了新的评估标准。
- 实验结果表明，智能体在完成实验和重现行为特征方面存在显著差异，许多会话未能完成任务。
📝 摘要（中文）
关于大型语言模型的认知能力的主张通常通过将行为范式转化为文本提示进行测试，这种方法忽略了人类参与者在实验中实际使用的视觉界面和时间压力。同时，AI智能体现在能够完成在线行为任务并生成类人数据，这引发了对社会和行为科学在线数据集可能受到污染的担忧。我们提出了CogArena，这是一个基于十个社会和行为科学实验范式的基准。智能体通过标准网页浏览器完成实验，使用与在线参与者相同的视觉刺激和响应界面。三层评分程序评估智能体是否完成任务、执行的准确性以及其数据是否显示出每个范式在参与者中可靠产生的行为特征。我们的实验发现，完成实验与重现其特征是不同的，许多会话未能完成，而完成的会话在某些特征上可靠重现，其他特征则完全未能重现。CogArena提供了任务、评分代码和新的提交公共排行榜。
🔬 方法详解
问题定义：本论文旨在解决现有方法在测试大型语言模型认知能力时，未能考虑人类参与者在真实实验中所面临的视觉和时间压力的问题。现有方法的痛点在于其依赖文本提示，可能导致结果的偏差和不准确。
核心思路：CogArena的核心思路是通过标准网页浏览器让多模态智能体参与实验，确保其使用与人类参与者相同的视觉刺激和响应界面，从而更真实地模拟人类的实验体验。
技术框架：CogArena的整体架构包括十个社会和行为科学实验范式，智能体通过浏览器完成任务，评分程序分为三层：任务完成情况、执行准确性和行为特征的重现性。
关键创新：CogArena的主要创新在于其提供了一个标准化的评估平台，能够真实反映智能体在行为实验中的表现，与传统的文本提示方法相比，能够更全面地评估智能体的认知能力。
关键设计：在设计中，CogArena设置了三层评分机制，确保不仅评估任务完成情况，还关注智能体数据的行为特征重现，具体参数和评分标准在论文中详细描述。实验设计允许多次运行，以确保结果的可靠性和有效性。
📊 实验亮点
实验结果显示，尽管智能体能够完成实验，但在重现行为特征方面存在显著差异。许多会话未能完成任务，而完成的会话在某些特征上表现良好，其他特征则未能重现。这表明智能体的表现与人类参与者存在本质差异，强调了CogArena在评估智能体能力方面的重要性。
🎯 应用场景
CogArena的研究成果具有广泛的应用潜力，尤其在社会和行为科学领域。它可以用于评估和比较不同智能体的认知能力，帮助研究人员理解智能体在复杂环境中的行为表现。此外，该基准还可以为未来的多模态AI研究提供标准化的测试平台，推动相关技术的发展。
📄 摘要（原文）
Claims about the cognitive capabilities of large language models are typically tested by translating behavioral paradigms into text prompts, bypassing the visual interfaces and time pressure through which human participants actually engage with experiments. At the same time, AI agents can now complete online behavioral tasks and produce human-like data, which raises concerns that online datasets in the social and behavioral sciences are increasingly open to contamination. We introduce CogArena, a benchmark of ten experimental paradigms from the social and behavioral sciences. Agents complete the experiments through a standard web browser, working with the same visual stimuli and response interfaces that online participants use. A three-level scoring procedure evaluates whether the agent completed the task, how accurately it performed, and whether its data show the behavioral signatures each paradigm reliably produces in people. Across four multimodal models, each run ten times per task, we find that finishing an experiment and reproducing its signatures are different things. Many sessions did not finish, and those that did reproduced some signatures reliably and others not at all. CogArena provides the tasks, scoring code, and a public leaderboard for new submissions.