Homogenization Effects of Large Language Models on Human Creative Ideation
作者: Barrett R. Anderson, Jash Hemant Shah, Max Kreminski
分类: cs.HC, cs.AI
发布日期: 2024-02-02 (更新: 2024-05-10)
备注: Accepted to C&C 2024
💡 一句话要点
探讨大语言模型对人类创意构思的同质化影响
🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)
关键词: 大语言模型 创意支持工具 用户研究 同质化效应 创造力 语义分析
📋 核心要点
- 现有的创意支持工具可能无法有效促进用户的创造力，导致生成的想法同质化。
- 论文提出通过比较不同创意支持工具，探讨大语言模型在创意生成中的作用及其影响。
- 实验结果表明，使用ChatGPT的用户生成的想法在语义上较为同质化，但数量和细节上有所增加。
📝 摘要（中文）
大语言模型（LLMs）现已广泛应用于多种场景，包括作为创意支持工具（CSTs）帮助用户产生新想法。然而，LLMs是否真正支持用户的创造力？我们假设使用LLM作为CST可能使用户感到更具创造力，并扩展每个用户提出的想法范围，但也可能导致不同用户提出的想法同质化。通过对36名参与者进行比较用户研究，我们发现不同用户在使用ChatGPT时产生的语义上不够独特的想法较少，而使用其他CST时则更为多样。此外，ChatGPT用户生成了更多详细的想法，但对自己产生的想法感到责任感较低。我们讨论了这些发现对用户、设计师和LLM基础CST开发者的潜在影响。
🔬 方法详解
问题定义：本研究旨在探讨大语言模型作为创意支持工具是否真正促进用户创造力，尤其是其对想法同质化的影响。现有方法在促进创造力方面存在不足，可能导致用户生成的想法缺乏多样性。
核心思路：通过对比不同的创意支持工具，特别是大语言模型与其他工具的使用效果，研究其对用户创造力的影响。设计上关注用户生成想法的多样性和用户的责任感。
技术框架：研究采用比较实验设计，招募36名参与者，使用ChatGPT与其他创意支持工具进行对比，分析生成的想法的语义特征和用户反馈。
关键创新：本研究的创新点在于系统性地验证了大语言模型在创意生成中的同质化效应，揭示了用户在使用LLM时的心理变化，尤其是责任感的降低。
关键设计：实验中设置了不同的创意支持工具，收集用户生成的想法，并通过语义分析工具评估想法的独特性和细节程度。
🖼️ 关键图片
📊 实验亮点
实验结果显示，使用ChatGPT的用户生成的想法在语义上较为同质化，且与其他创意支持工具相比，用户对生成想法的责任感降低。这一发现强调了大语言模型在创意支持中的潜在局限性。
🎯 应用场景
该研究的结果对创意支持工具的设计和开发具有重要意义，尤其是在教育、广告和产品设计等领域。了解大语言模型的同质化效应，可以帮助开发者优化工具，以更好地支持用户的创造力，避免想法的单一化。
📄 摘要（原文）
Large language models (LLMs) are now being used in a wide variety of contexts, including as creativity support tools (CSTs) intended to help their users come up with new ideas. But do LLMs actually support user creativity? We hypothesized that the use of an LLM as a CST might make the LLM's users feel more creative, and even broaden the range of ideas suggested by each individual user, but also homogenize the ideas suggested by different users. We conducted a 36-participant comparative user study and found, in accordance with the homogenization hypothesis, that different users tended to produce less semantically distinct ideas with ChatGPT than with an alternative CST. Additionally, ChatGPT users generated a greater number of more detailed ideas, but felt less responsible for the ideas they generated. We discuss potential implications of these findings for users, designers, and developers of LLM-based CSTs.