Assessing and Understanding Creativity in Large Language Models
作者: Yunpu Zhao, Rui Zhang, Wenyi Li, Di Huang, Jiaming Guo, Shaohui Peng, Yifan Hao, Yuanbo Wen, Xing Hu, Zidong Du, Qi Guo, Ling Li, Yunji Chen
分类: cs.CL, cs.AI
发布日期: 2024-01-23
期刊: Machine Intelligence Research (2025)
DOI: 10.1007/s11633-025-1546-4
💡 一句话要点
建立高效框架评估大型语言模型的创造力
🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)
关键词: 大型语言模型 创造力评估 托兰斯测试 多维度测量 人机协作
📋 核心要点
- 现有评估方法无法全面衡量大型语言模型的创造力，尤其是在独创性方面存在不足。
- 论文提出了一种基于改编托兰斯创造性思维测试的高效评估框架，涵盖多维度的创造力测量。
- 实验结果表明，LLM在独创性上表现不足，但在详细性上表现优异，且多个LLM的协作能提升创造力。
📝 摘要（中文）
在自然语言处理领域，大型语言模型（LLM）的快速发展引起了广泛关注。尽管LLM在多项任务中展现出较高的创造力，但现有评估方法不足以全面衡量其创造力。本文旨在建立一个高效的框架，通过改编修改版的托兰斯创造性思维测试，评估不同LLM在七个任务中的创造表现，强调流畅性、灵活性、独创性和详细性四个标准。研究开发了一个包含700个问题的综合数据集，并提出了一种基于LLM的评估方法。研究发现，LLM在独创性方面表现不足，但在详细性方面表现优异，提示模型的提示和角色扮演设置对创造力有显著影响。此外，多个LLM之间的协作可以增强独创性，研究结果还揭示了人类评估与LLM之间对影响创造力的人格特质的共识。
🔬 方法详解
问题定义：本文旨在解决现有评估大型语言模型创造力的方法不足，尤其是在独创性评估方面的挑战。现有方法往往缺乏多维度的衡量标准，无法准确反映LLM的创造能力。
核心思路：论文通过改编托兰斯创造性思维测试，建立一个高效的评估框架，旨在多维度地衡量LLM的创造力，尤其是流畅性、灵活性、独创性和详细性四个标准。
技术框架：整体架构包括数据集构建、评估标准设定和LLM性能测试三个主要模块。首先，研究团队构建了一个包含700个问题的数据集，然后根据四个标准对LLM进行评估，最后分析不同提示和角色扮演设置对创造力的影响。
关键创新：本研究的主要创新在于提出了一种系统化的评估框架，能够在多维度上衡量LLM的创造力，并揭示了人类与LLM在创造力评估上的共识。这种方法与传统单一维度评估方法有本质区别。
关键设计：在评估过程中，采用了特定的损失函数和参数设置，以确保评估的准确性和效率。同时，设计了多种角色扮演场景，以测试LLM在不同上下文中的创造力表现。通过这些设计，研究能够更全面地捕捉LLM的创造力特征。
🖼️ 关键图片
📊 实验亮点
实验结果显示，LLM在独创性方面的得分明显低于其他标准，而在详细性方面表现突出。通过协作，多个LLM的独创性得分显著提高，表明协作机制对创造力的积极影响。这些发现为LLM的设计和应用提供了重要的指导。
🎯 应用场景
该研究的潜在应用领域包括教育、创意写作、游戏设计等。通过对大型语言模型创造力的深入理解，可以为人机协作提供新的思路，推动人工智能在创意产业中的应用，提升人类创造力的发挥和利用。
📄 摘要（原文）
In the field of natural language processing, the rapid development of large language model (LLM) has attracted more and more attention. LLMs have shown a high level of creativity in various tasks, but the methods for assessing such creativity are inadequate. The assessment of LLM creativity needs to consider differences from humans, requiring multi-dimensional measurement while balancing accuracy and efficiency. This paper aims to establish an efficient framework for assessing the level of creativity in LLMs. By adapting the modified Torrance Tests of Creative Thinking, the research evaluates the creative performance of various LLMs across 7 tasks, emphasizing 4 criteria including Fluency, Flexibility, Originality, and Elaboration. In this context, we develop a comprehensive dataset of 700 questions for testing and an LLM-based evaluation method. In addition, this study presents a novel analysis of LLMs' responses to diverse prompts and role-play situations. We found that the creativity of LLMs primarily falls short in originality, while excelling in elaboration. Besides, the use of prompts and the role-play settings of the model significantly influence creativity. Additionally, the experimental results also indicate that collaboration among multiple LLMs can enhance originality. Notably, our findings reveal a consensus between human evaluations and LLMs regarding the personality traits that influence creativity. The findings underscore the significant impact of LLM design on creativity and bridges artificial intelligence and human creativity, offering insights into LLMs' creativity and potential applications.