CreativeInstruct: Scalably Teaching LLMs to Balance Quality, Creativity, and Diversity

📄 arXiv: 2608.07460v1 📥 PDF

作者: Ananya Sahu, Mohit Bansal, Elias Stengel-Eskin

分类: cs.CL, cs.AI

发布日期: 2026-08-07

备注: Code: https://github.com/ananya-sahu/CreativeInstruct

💡 一句话要点

提出CreativeInstruct以解决LLMs创意与多样性不足问题

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture) 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 大型语言模型 创造性生成 指令调优 多样性度量 叙事生成

📋 核心要点

  1. 现有的后训练方法虽然提升了LLMs的能力，但却降低了生成内容的多样性和创造力，影响了创意相关任务的表现。
  2. CreativeInstruct通过引入[StartCreativity]标记，教会LLMs在生成过程中平衡创造性与质量，从而提升输出的多样性。
  3. 实验结果显示，CreativeInstruct在叙事生成任务中超越了多模型基线的多样性，并在70.3%的情况下被评估为比后训练LLMs更具创造性。

📝 摘要（中文）

尽管后训练提升了大型语言模型（LLMs）的能力，但通常会降低其输出的多样性和创造力，影响需要创造力的任务。为此，本文提出CreativeInstruct，一种可扩展的指令调优方法，旨在教会LLMs在生成中平衡创造性与后训练模型的质量。通过引入特殊的[StartCreativity]标记，CreativeInstruct能够偏向创造性生成。此外，本文还提出了一种基于图编辑距离的结构多样性度量，捕捉叙事层面的变化。实验结果表明，CreativeInstruct在叙事生成任务中与多模型基线和蒸馏变体的多样性相匹配或超越，同时不牺牲质量，也不需要在推理时使用多个模型。

🔬 方法详解

问题定义：本文旨在解决后训练方法导致的LLMs生成内容多样性和创造力不足的问题。现有方法在提升模型能力的同时，往往牺牲了生成内容的创造性，影响了相关任务的效果。

核心思路：CreativeInstruct的核心思路是通过引入特殊的[StartCreativity]标记，指导LLMs在生成过程中注入创造性元素，从而实现质量与创造性的平衡。这样的设计旨在提升生成内容的多样性，同时保持高质量输出。

技术框架：CreativeInstruct的整体架构包括指令调优模块和结构多样性度量模块。指令调优模块负责训练模型生成具有创造性的内容，而结构多样性度量模块则用于评估生成内容的叙事层面变化。

关键创新：本文的关键创新在于引入了[StartCreativity]标记和基于图编辑距离的结构多样性度量。这一创新使得模型能够在生成过程中更好地捕捉叙事变化，区别于传统的基于词汇和语义的度量方法。

关键设计：在模型训练中，采用了特定的损失函数来平衡创造性与质量，并设计了适应性参数设置，以确保模型在生成时能够有效利用[StartCreativity]标记。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果表明，CreativeInstruct在叙事生成任务中与多模型基线的多样性相匹配或超越，同时在70.3%的情况下被评估为比后训练LLMs更具创造性。此外，应用CreativeInstruct的GRPO在AMC和MATH任务上分别提升了约4%和5个百分点。

🎯 应用场景

CreativeInstruct的研究成果具有广泛的应用潜力，尤其在需要高创造性输出的领域，如故事生成、游戏设计和广告创意等。通过提升LLMs的创造力和多样性，该方法能够为内容创作提供更丰富的支持，推动相关行业的发展。

📄 摘要（原文）

While post-training improves the capabilities of large language models (LLMs), it generally lowers their output diversity and creativity, negatively impacting tasks that explicitly require creativity (e.g., story generation) as well as those that require it implicitly, e.g., reinforcement learning (RL). We instead propose CreativeInstruct, a scalable instruction-tuning method that teaches LLMs to balance creative, base-model-like generations with the quality of post-trained models, by learning to inject special [StartCreativity] spans that bias generation toward creativity. Furthermore, we introduce a structural diversity metric based on graph edit distance, which captures narrative level variation missed by purely lexical and semantic metrics. On narrative generation, CreativeInstruct matches or exceeds the diversity of both multi-model baselines and distilled variants of their outputs, without sacrificing quality or requiring multiple models at inference time. These results are mirrored in our human evaluation, where we find that annotators rate CreativeInstruct generations as more creative than the post-trained LLMs' generations in 70.3% of cases. We also show the benefits of creative models as a substrate for RL: GRPO applied to a CreativeInstruct checkpoint improves by ~4% on AMC and ~5% points on MATH over the same training applied to the post-trained checkpoint.