CreativityNeuro: Steering Language Model Weights to Improve Divergent Thinking and Reduce Mode Collapse
作者: Samuel Schapiro, Core Francisco Park, Felix Sosa, Lav R. Varshney
分类: cs.AI, cs.LG
发布日期: 2026-07-05
💡 一句话要点
提出CreativityNeuro以提升语言模型的发散思维能力
🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)
关键词: 发散思维 语言模型 创造力评估 对比权重引导 模式崩溃 数据无关方法 开放性任务 创新性生成
📋 核心要点
- 现有大型语言模型在开放性问题上生成的回答往往高度相似，导致创造力不足。
- CreativityNeuro通过对比权重引导的方法，旨在提升语言模型的发散思维能力，增强创造性表现。
- 实验结果显示，CreativityNeuro在多个创造力评估中显著提升了模型的表现，并减少了模式崩溃现象。
📝 摘要（中文）
发散思维是创造力的重要组成部分，但大型语言模型（LLMs）在开放性问题上往往生成相似的回答，形成所谓的人工蜂群效应。本文提出CreativityNeuro，一种无需数据的方法，通过对比权重引导来增强LLMs的发散思维。我们在多个创造力评估中评估了该方法，发现CreativityNeuro在发散联想任务（DAT）中性能提升高达14个百分位点。在720人的大规模人类评估中，CreativityNeuro在替代用途测试（AUT）和任务任务中显著提高了原创性、惊喜感和创造力，且在更长的开放性任务中也有良好表现。重要的是，CreativityNeuro在所有三个任务中显著减少了模式崩溃的现象。总之，CreativityNeuro在无需行为数据、重训练或基于梯度的微调的情况下，提供了一种简单的方法来提升LLM在创造性领域的表现。
🔬 方法详解
问题定义：本文旨在解决大型语言模型在开放性问题上生成相似回答的问题，即人工蜂群效应，导致发散思维能力不足。现有方法通常依赖于大量行为数据或重训练，限制了其应用灵活性。
核心思路：CreativityNeuro通过对比权重引导的方式，直接在权重空间中进行调整，以增强模型的发散思维能力，而无需依赖外部数据或复杂的训练过程。
技术框架：该方法的整体架构包括权重引导模块和评估模块。权重引导模块负责调整模型的权重以提升创造性，而评估模块则通过多种创造力测试来验证效果。
关键创新：CreativityNeuro的主要创新在于其数据无关性和对比权重引导的使用，这与传统的依赖数据和重训练的方法有本质区别，使得模型在未见任务上也能有效提升表现。
关键设计：在设计上，CreativityNeuro采用了特定的损失函数来优化权重引导过程，并在不同的创造力测试中进行了参数调优，以确保其在多种任务上的有效性。具体的网络结构和参数设置在实验中进行了详细验证。
🖼️ 关键图片
📊 实验亮点
在发散联想任务（DAT）中，CreativityNeuro的性能提升高达14个百分位点。在720人的大规模人类评估中，该方法在替代用途测试（AUT）和任务任务中显著提高了原创性、惊喜感和创造力，且在所有任务中有效减少了模式崩溃现象，展示了其优越的性能。
🎯 应用场景
CreativityNeuro的研究成果在多个领域具有潜在应用价值，包括创意写作、广告创意生成、游戏设计等。通过提升语言模型的创造力，该方法可以帮助用户生成更具创意和多样性的内容，推动相关行业的发展。未来，随着技术的不断进步，CreativityNeuro可能会在更广泛的应用场景中发挥重要作用。
📄 摘要（原文）
Divergent thinking is a crucial aspect of creativity, yet large language models (LLMs) tend to consistently generate similar responses to open-ended questions, in what has been termed the artificial hivemind effect. Here, we introduce CreativityNeuro, a data-free method for enhancing divergent thinking in LLMs via contrastive weight steering. We evaluate our method across multiple creativity assessments and report several main findings. On the Divergent Association Task (DAT), a vocabulary-space creativity test, CreativityNeuro improves performance by up to 14 human percentile points. Next, in a large-scale human evaluation (N=720) on the Alternative Uses Test (AUT) and the Task Task, CreativityNeuro achieves significant improvements in originality, surprise, and creativity, transferring to longer-form and more open-ended tasks. Importantly, we find that across all three tasks, CreativityNeuro demonstrably reduces measures of mode collapse. Moreover, activation steering achieves comparable performance to CreativityNeuro on the DAT, but it does not transfer to the AUT and Task Task, demonstrating the effectiveness of weight-space steering in generalizing to unseen tasks. In conclusion, CreativityNeuro improves divergent thinking and reduces mode collapse without requiring behavioral data, re-training, or gradient-based fine-tuning, providing a straightforward way to enhance LLM performance in creative domains.