Weaver: Foundation Models for Creative Writing
作者: Tiannan Wang, Jiamin Chen, Qingrui Jia, Shuai Wang, Ruoyu Fang, Huilin Wang, Zhaowei Gao, Chunzhao Xie, Chuou Xu, Jihong Dai, Yibin Liu, Jialong Wu, Shengwei Ding, Long Li, Zhiwei Huang, Xinle Deng, Teng Yu, Gangan Ma, Han Xiao, Zixin Chen, Danjun Xiang, Yunxia Wang, Yuanyuan Zhu, Yi Xiao, Jing Wang, Yiru Wang, Siran Ding, Jiayang Huang, Jiayi Xu, Yilihamu Tayier, Zhenyu Hu, Yuan Gao, Chengfeng Zheng, Yueshu Ye, Yihang Li, Lei Wan, Xinyue Jiang, Yujie Wang, Siyu Cheng, Zhule Song, Xiangru Tang, Xiaohua Xu, Ningyu Zhang, Huajun Chen, Yuchen Eleanor Jiang, Wangchunshu Zhou
分类: cs.CL, cs.AI, cs.LG
发布日期: 2024-01-30
💡 一句话要点
提出Weaver以提升创意写作能力
🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)
关键词: 大型语言模型 创意写作 文本生成 微调技术 指令数据合成 检索增强生成 个性化写作
📋 核心要点
- 现有大型语言模型在创意写作方面的表现不足，缺乏针对性和人性化的文本生成能力。
- Weaver通过专门的预训练和微调过程，结合新颖的指令数据合成方法，提升了模型的写作能力和多样性。
- 实验结果表明，Weaver系列模型在写作能力评估中显著超越了更大规模的通用LLM，尤其是Weaver Ultra模型的表现尤为突出。
📝 摘要（中文）
本研究介绍了Weaver，这是我们首个专注于内容创作的大型语言模型（LLM）系列。Weaver在精心选择的语料库上进行预训练，旨在提升大型语言模型的写作能力。随后，我们对Weaver进行了微调，以满足创意和专业写作的需求，并通过一系列新颖的方法进行指令数据合成和LLM对齐，使其能够生成更具人类特征的文本，并遵循更为多样的内容创作指令。Weaver系列包括不同规模的模型，适用于不同应用，并可根据查询复杂性动态调度，以平衡响应质量和计算成本。评估结果显示，Weaver模型在写作能力评估基准上超越了多倍于其规模的通用LLM，尤其是Weaver Ultra模型在多种写作场景中超越了GPT-4，展示了为写作目的训练专门化LLM的优势。
🔬 方法详解
问题定义：本研究旨在解决现有大型语言模型在创意写作中的不足，尤其是在生成更具人性化和多样化文本方面的挑战。现有模型往往缺乏针对特定写作任务的优化，导致生成的文本质量不高。
核心思路：Weaver的核心思路是通过在专门的语料库上进行预训练，并结合微调过程，使模型能够更好地理解和生成创意写作内容。通过对专业作家的偏好进行对齐，提升模型的文本生成能力。
技术框架：Weaver的整体架构包括预训练、微调和动态调度三个主要阶段。预训练阶段使用精选语料库，微调阶段则针对创意写作进行优化，动态调度则根据查询复杂性选择合适的模型。
关键创新：Weaver的主要创新在于其专门针对创意写作的训练方法和指令数据合成技术，使得模型在生成文本时能够更好地符合人类作家的风格和需求。这与现有通用模型的训练方式形成了鲜明对比。
关键设计：在模型设计中，Weaver系列包括不同规模的模型（如Weaver Mini、Base、Pro和Ultra），并通过动态路由机制根据任务复杂性选择合适的模型。此外，模型支持检索增强生成（RAG）和功能调用，增强了其应用灵活性。
🖼️ 关键图片
📊 实验亮点
实验结果显示，Weaver系列模型在写作能力评估基准上显著超越了多倍于其规模的通用LLM，尤其是Weaver Ultra模型在多种写作场景中表现优异，超越了GPT-4，展示了专门化训练的优势。
🎯 应用场景
Weaver的研究成果在多个领域具有广泛的应用潜力，包括创意写作、内容创作辅助、个性化写作指导等。通过集成外部知识库和工具，Weaver能够为用户提供更为精准和个性化的写作支持，提升写作效率和质量。未来，Weaver有望在教育、媒体和创意产业中发挥重要作用。
📄 摘要（原文）
This work introduces Weaver, our first family of large language models (LLMs) dedicated to content creation. Weaver is pre-trained on a carefully selected corpus that focuses on improving the writing capabilities of large language models. We then fine-tune Weaver for creative and professional writing purposes and align it to the preference of professional writers using a suit of novel methods for instruction data synthesis and LLM alignment, making it able to produce more human-like texts and follow more diverse instructions for content creation. The Weaver family consists of models of Weaver Mini (1.8B), Weaver Base (6B), Weaver Pro (14B), and Weaver Ultra (34B) sizes, suitable for different applications and can be dynamically dispatched by a routing agent according to query complexity to balance response quality and computation cost. Evaluation on a carefully curated benchmark for assessing the writing capabilities of LLMs shows Weaver models of all sizes outperform generalist LLMs several times larger than them. Notably, our most-capable Weaver Ultra model surpasses GPT-4, a state-of-the-art generalist LLM, on various writing scenarios, demonstrating the advantage of training specialized LLMs for writing purposes. Moreover, Weaver natively supports retrieval-augmented generation (RAG) and function calling (tool usage). We present various use cases of these abilities for improving AI-assisted writing systems, including integration of external knowledge bases, tools, or APIs, and providing personalized writing assistance. Furthermore, we discuss and summarize a guideline and best practices for pre-training and fine-tuning domain-specific LLMs.