Automated Creativity Evaluation of Language Models Across Open-Ended Tasks
作者: Min Sen Tan, Zachary Kit Chun Choy, Syed Ali Redha Alsagoff, Nadya Yuki Wangsajaya, Mohor Banerjee, Swaagat Bikash Saikia, Alvin Chan
分类: cs.CL, cs.AI
发布日期: 2026-06-10
备注: Accepted to ACL 2026 (Main Conference). 35 pages, 16 figures. Code: https://github.com/tanminsen/creativity-eval
💡 一句话要点
提出自动化框架以评估语言模型的创造力
🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)
关键词: 语言模型 创造力评估 自动化框架 语义熵 多代理评估 开放式任务 新颖性 多样性
📋 核心要点
- 现有的创造力评估方法往往依赖于特定任务，限制了其可扩展性和通用性。
- 本文提出了一种自动化、领域无关的框架，能够对开放式任务中的创造力进行量化评估。
- 实验结果表明，该框架在多个领域中有效捕捉创造力的关键方面，并显著提高了评估效率。
📝 摘要（中文）
大型语言模型（LLMs）在语言理解、推理和生成方面取得了显著进展，激发了对其创造潜力的关注。实现这一潜力需要系统且可扩展的方法来评估不同任务中的创造力。然而，现有的创造力评估指标往往与特定任务紧密相关，限制了其可扩展性和通用性。为此，本文提出了一种自动化、领域无关的框架，用于量化LLM在开放式任务中的创造力。通过语义熵来测量发散创造力，并采用基于检索的多代理评估框架来评估收敛创造力。实验证明，该框架在多个领域中可靠捕捉创造力的关键特征，并揭示了模型属性对创造性能的影响。
🔬 方法详解
问题定义：本文旨在解决现有创造力评估方法的局限性，尤其是其对特定任务的依赖性，导致评估过程缺乏可扩展性和通用性。
核心思路：提出一种自动化的、领域无关的评估框架，通过将测量工具与创造性任务分离，实现可扩展的任务无关评估。
技术框架：框架包括两个主要模块：发散创造力的测量使用语义熵，而收敛创造力则通过基于检索的多代理评估框架进行评估，确保上下文敏感的任务完成度评估。
关键创新：引入语义熵作为新颖性和多样性的无参考度量标准，并通过多代理评估框架提高了评估效率超过60%。
关键设计：在设计中，采用了多种大型语言模型进行验证，并考虑了模型的大小、温度、最近性和推理能力等参数对创造性能的影响。
🖼️ 关键图片
📊 实验亮点
实验结果显示，该框架在多个领域中有效捕捉创造力的关键特征，尤其是新颖性和多样性，且评估效率提高超过60%。与基线方法相比，框架在任务完成度的评估上表现出显著优势。
🎯 应用场景
该研究的潜在应用领域包括创意写作、研究构思和问题解决等。通过提供一种标准化的评估方法，可以加速创造性人工智能的进步，推动相关领域的研究和应用发展。
📄 摘要（原文）
Large language models (LLMs) have achieved remarkable progress in language understanding, reasoning, and generation, sparking growing interest in their creative potential. Realizing this potential requires systematic and scalable methods for evaluating creativity across diverse tasks. However, most existing creativity metrics are tightly coupled to specific tasks, embedding domain assumptions into the evaluation process, and limiting scalability and generality. To address this gap, we introduce an automated, domain-agnostic framework for quantifying LLM creativity across open-ended tasks. Our approach separates the measurement apparatus from the creative task itself, enabling scalable, task-agnostic assessment. Divergent creativity is measured using semantic entropy, a reference-free and robust metric for novelty and diversity, validated against human annotations, LLM-based novelty judgments and baseline diversity measures. Convergent creativity is assessed via a novel retrieval-based multi-agent judge framework that delivers context-sensitive evaluation of task fulfilment with over 60% improved efficiency. We validate our framework in three qualitatively distinct domains: problem-solving (MacGyver), research ideation (HypoGen), and creative writing (BookMIA), using a broad suite of LLMs. Empirical results show that our framework reliably captures key facets of creativity, including novelty, diversity, and task fulfilment, and reveal how model properties, such as size, temperature, recency, and reasoning, impact creative performance. Our work establishes a reproducible and generalizable standard for automated LLM creativity evaluation, paving the way for scalable benchmarking and accelerating progress in creative AI.