CreativityPrism: A Cross-Domain Evaluation Framework for Large Language Model Creativity

📄 arXiv: 2510.20091 📥 PDF

作者: Zhaoyi Joey Hou, Bowei Alvin Zhang, Yining Lu, Bhiman Kumar Baghel, Anneliese Brei, Ximing Lu, Meng Jiang, Faeze Brahman, Snigdha Chaturvedi, Haw-Shiuan Chang, Daniel Khashabi, Xiang Lorraine Li

分类: cs.CL, cs.AI

发布日期: 2026-07-05

💡 一句话要点

提出CreativityPrism以解决LLM创意评估的跨域问题

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 大型语言模型 创造力评估 跨域框架 发散思维 创意写作 逻辑推理 自动评估 多维度评估

📋 核心要点

  1. 现有的LLM创造力评估方法依赖人工，速度和可扩展性受到限制，且在不同领域的定义上存在碎片化。
  2. 本文提出CreativityPrism框架，整合多个任务，强调创造力的质量、新颖性和多样性三个维度，旨在提供可扩展的评估方法。
  3. 实验结果显示，尽管前沿LLMs在创意写作和逻辑推理任务中表现优异，但在发散思维领域的表现并不突出，且不同维度之间的相关性较弱。

📝 摘要（中文）

创造力常被视为人类智能的标志。尽管大型语言模型（LLMs）在生成创意文本方面越来越受到关注，但目前尚缺乏一个跨域且可扩展的框架来评估其创造力。现有的评估方法要么过于依赖人工，限制了速度和可扩展性，要么在不同领域和创造力定义上存在碎片化。为此，本文提出了CreativityPrism，一个整合了来自发散思维、创意写作和逻辑推理三个领域的八个任务的评估框架，强调了创造力的三个维度：质量、新颖性和多样性。该框架设计为可扩展，并通过与人工注释的验证，提供可靠的自动评估。我们在CreativityPrism上评估了17个最先进的LLMs，发现尽管前沿规模的LLMs在创意写作和逻辑推理任务中表现优异，但在发散思维领域并未显示出显著优势。

🔬 方法详解

问题定义：本文旨在解决现有大型语言模型（LLMs）创造力评估方法的不足，主要包括对人工依赖的高需求和领域间评估标准的碎片化问题。

核心思路：提出CreativityPrism框架，通过整合多个任务和维度，提供一个统一且可扩展的评估工具，以便更全面地评估LLMs的创造力。

技术框架：CreativityPrism框架包含三个主要领域：发散思维、创意写作和逻辑推理，整合了八个具体任务，强调创造力的质量、新颖性和多样性。框架设计为可自动化评估，减少人工干预。

关键创新：CreativityPrism的创新在于其跨域整合能力和多维度评估方法，能够同时考虑多个创造力维度，克服了现有方法的局限性。

关键设计：框架中使用了经过验证的自动评估算法，确保与人工注释的一致性，具体参数设置和损失函数设计尚未详细披露。实验中评估了17个最先进的LLMs，结果显示不同维度间的相关性较弱。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果表明，前沿规模的LLMs在创意写作和逻辑推理任务中领先于本地可部署的开放模型约0.10（或15%），但在发散思维领域并未显示出显著优势，表明不同创造力维度间的表现差异。

🎯 应用场景

CreativityPrism框架可广泛应用于教育、创意写作、广告和游戏设计等领域，帮助评估和提升大型语言模型在创造性任务中的表现。未来，该框架有潜力推动LLMs在更广泛的创意应用中的发展与优化。

📄 摘要（原文）

Creativity is often seen as a hallmark of human intelligence. While large language models(LLMs) are increasingly perceived as generating creative text, there is still no cross-domain and scalable framework to evaluate their creativity across diverse scenarios. Existing methods of LLM creativity evaluation either heavily rely on humans, limiting speed and scalability, or are fragmented across different domains and different definitions of creativity. To address this gap, we propose CreativityPrism, an evaluation and analysis framework that consolidates eight tasks from three domains: divergent thinking, creative writing, and logical reasoning, into a taxonomy of creativity that emphasizes three dimensions: quality, novelty, and diversity of LLM generations. The framework is designed to be scalable with reliable automatic evaluation judges that have been validated against human annotations. We evaluate 17 state-of-the-art (SoTA) LLMs on CreativityPrism and find that while frontier-scale LLMs dominate creative writing and logical reasoning tasks by a .10 (or 15%) lead over locally-deployable open models, they offer no significant advantage in divergent thinking, a domain much less explored in existing post-training regimes. Our analysis also shows that high performance in one creative dimension or domain rarely generalizes to others; specifically, novelty metrics often show weak or negative correlations with other metrics. This fragmentation confirms that a cross-domain, multi-dimensional framework like CreativityPrism is essential for any meaningful assessment of LLM creativity.