AGC-Bench: Measuring Artificial General Creativity

📄 arXiv: 2607.01152v1 📥 PDF

作者: Roger Beaty, Vijeta Deshpande, Clin K. Y. Lai, Anna Attuch, Namrata Shivagunde, Swastik Roy, Rajkumar Pujari, Paul V. DiStefano, Sherin Muckatira, Claire E. Stevenson, Mikhail Gronas, Anna Rumshisky

分类: cs.CL

发布日期: 2026-07-01

💡 一句话要点

提出AGC-Bench以衡量人工通用创造力

🎯 匹配领域: 支柱六：视频提取与匹配 (Video Extraction)

关键词: 人工智能 创造力评估 大型语言模型 评判者反应理论 标准化基准 数据集 模型微调

📋 核心要点

  1. 现有的AI创造力评估缺乏统一的基准，难以比较不同模型的创造力表现。
  2. 论文提出AGC-Bench，通过系统性文献回顾和评判者反应理论，构建了一个标准化的创造力评估框架。
  3. 实验结果表明，AGC-Bench能够有效区分不同模型的创造力表现，且人类在创造力上仍优于顶尖LLM。

📝 摘要（中文）

创造力研究一直在争论创造力是否特定于某一领域（如视觉、写作、科学），以及它是否在心理测量上与一般智力可分离。这两个问题同样适用于大型语言模型（LLMs），但统一的AI创造力基准仍然难以实现。我们介绍了AGC-Bench，这是一个基于对AI创造力文献的系统性回顾构建的人工通用创造力基准，涵盖了78个数据集，涉及头脑风暴、问题解决、STEM、叙事、比喻语言和幽默等领域。为了解决LLM作为评判者的偏见，我们应用了评判者反应理论，并对三种前沿LLM的偏见校正评分进行了微调，生成了AGC-Judge，一个能够稳健评分新创造力基准的开放权重模型。实验结果显示，前沿模型在AGC-Bench排行榜上名列前茅，开放模型紧随其后。

🔬 方法详解

问题定义：论文要解决的问题是如何建立一个统一的标准来衡量人工智能的创造力，现有方法缺乏系统性和可比性，难以评估不同模型的创造力表现。

核心思路：论文的核心思路是通过系统性文献回顾，识别并整合已有的创造力基准，结合评判者反应理论来校正评判偏见，从而构建AGC-Bench。

技术框架：整体架构包括数据集的收集与标准化、评判者反应理论的应用、模型微调（AGC-Judge）以及最终的创造力评分系统。主要模块包括数据集管理、模型训练和评估。

关键创新：最重要的技术创新点在于引入了评判者反应理论来校正评判偏见，并通过微调生成了能够稳健评分的新模型AGC-Judge，这与传统的评估方法有本质区别。

关键设计：在模型微调过程中，采用了偏见校正的评分数据，设计了适应性损失函数，以提高模型在新创造力基准上的评分能力。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果显示，AGC-Bench能够有效区分不同模型的创造力表现，前沿模型在排行榜上名列前茅，且在83个LLM中发现了一个单一的创造力因子'c'，解释了81.5%的方差。此外，提示模型“创造性”显著提升其表现，表明该基准有效追踪创造力而非一般能力。

🎯 应用场景

该研究的潜在应用领域包括教育、创意产业和人工智能研究等。通过AGC-Bench，研究人员和开发者可以更有效地评估和比较不同AI模型的创造力表现，从而推动创造力相关应用的发展，提升AI在创意生成方面的能力。

📄 摘要（原文）

Creativity research has debated whether creativity is domain-specific (e.g., visual, writing, science), and if it is psychometrically separable from general intelligence. Both questions now apply to LLMs, but a unified benchmark of AI creativity remains elusive. We introduce AGC-Bench, an artificial general creativity benchmark built from a systematic review of the AI creativity literature (3,101 papers screened, 497 benchmarks identified), paired with an agentic harness that converts idiosyncratic codebases into HELM-standardized benchmarks. The first release covers 78 datasets spanning brainstorming, problem solving, STEM, narrative, figurative language, and humor. To address bias in LLM-as-judge, we apply Judge Response Theory -- a psychometric calibration of judge leniency/severity; we then fine-tune Qwen3-30B on the bias-corrected ratings of three frontier LLMs to produce AGC-Judge, an open-weight model that robustly scores new creativity benchmarks it was not trained on. Results reveal frontier models at the top of the AGC-Bench leaderboard, with open models close behind. LLMs show different creative strengths, ranking higher on some domains (e.g., writing) than others (e.g., scientific ideation). Extensive experiments yield three main findings. First, applying factor analysis across 83 LLMs, we recover a single creativity factor 'c', analogous to the 'g' factor of general intelligence, that explains 81.5% of variance, related to but separable from general knowledge/reasoning. Second, we show that prompting models to "be creative" boosts their performance far more than enabling reasoning, evidence that the benchmark tracks creativity over general ability. Third, on a human-matched subset, we find the top human still leads the top LLM on creativity. We release AGC-Bench with a public leaderboard, AGC-Judge, and human data as open infrastructure for measuring AI creativity at scale.