Instruct-SCTG: Guiding Sequential Controlled Text Generation through Instructions

📄 arXiv: 2312.12299v1 📥 PDF

作者: Yinhong Liu, Yixuan Su, Ehsan Shareghi, Nigel Collier

分类: cs.CL, cs.AI

发布日期: 2023-12-19

💡 一句话要点

Instruct-SCTG：提出一种通过指令引导的序列控制文本生成框架，提升生成文本的结构连贯性。

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 文本生成 指令学习 序列生成 结构化文本 大型语言模型

📋 核心要点

  1. 现有文本生成方法难以在生成文本中维持类似人类的语篇结构，这是一个挑战。
  2. Instruct-SCTG利用指令调优的语言模型，通过自然语言指令引导，逐节生成结构连贯的文本。
  3. 实验表明，Instruct-SCTG在多个数据集上实现了最先进的性能，有效提升了生成文本的结构连贯性。

📝 摘要（中文）

本文提出Instruct-SCTG，一个灵活有效的序列框架，利用指令调优的大型语言模型，在微调和零样本设置中生成结构连贯的文本。该框架以逐节的方式生成文章，并通过自然语言指令与所需的人工结构对齐。此外，本文还引入了一种新的自动指标，以模糊的方式衡量语篇发散度。在新闻和食谱等代表性领域的三个数据集上进行的大量实验表明，Instruct-SCTG在文本生成过程中施加语篇结构方面表现出最先进的性能，并通过自动和人工评估得到验证。代码将在Github上提供。

🔬 方法详解

问题定义：现有文本生成方法，尤其是基于大型语言模型的方法，在生成长文本时，难以保证文本的结构连贯性和逻辑性，容易出现主题漂移、内容重复等问题。缺乏对生成过程的有效控制，使得生成的文本难以满足特定结构或风格的要求。

核心思路：Instruct-SCTG的核心思路是将文本生成过程分解为多个顺序的、受控的步骤，每个步骤生成文本的一个部分（例如，文章的一个章节）。通过自然语言指令明确地指导每个步骤的生成目标，从而确保生成的文本与预定义的结构对齐。这种分而治之的方法使得模型更容易控制生成过程，并保持文本的整体连贯性。

技术框架：Instruct-SCTG框架主要包含以下几个阶段：1) 结构定义：预先定义目标文本的结构，例如文章的章节标题和顺序。2) 指令生成：为每个章节生成相应的自然语言指令，明确该章节的生成目标和内容要求。3) 序列生成：使用指令调优的语言模型，按照章节顺序，依次生成每个章节的文本。每个章节的生成都以相应的指令为输入，确保生成的内容与指令对齐。4) 文本拼接：将生成的各个章节的文本拼接成完整的文章。

关键创新：Instruct-SCTG的关键创新在于：1) 指令引导的序列生成：通过自然语言指令显式地控制文本生成过程，使得模型能够更好地理解和满足用户的意图。2) 分段生成：将长文本生成分解为多个短文本生成任务，降低了生成难度，提高了生成质量。3) 新的自动评估指标：提出了一种新的自动指标，用于衡量生成文本的语篇发散度，能够更准确地评估生成文本的结构连贯性。

关键设计：Instruct-SCTG的关键设计包括：1) 指令的设计：指令需要清晰、简洁地描述每个章节的生成目标和内容要求。2) 语言模型的选择：选择具有良好指令遵循能力的大型语言模型，例如基于Transformer的模型。3) 损失函数：可以使用交叉熵损失函数来训练模型，目标是最大化生成文本的概率。4) 超参数调整：需要根据具体任务调整模型的超参数，例如学习率、批量大小等。

📊 实验亮点

在新闻和食谱数据集上的实验表明，Instruct-SCTG在自动评估和人工评估中均取得了最先进的性能。与现有方法相比，Instruct-SCTG能够生成结构更连贯、逻辑更清晰的文本。例如，在新闻生成任务中，Instruct-SCTG生成的文章在语篇连贯性方面比基线方法提高了显著的百分比（具体数值需参考论文）。

🎯 应用场景

Instruct-SCTG可应用于多种需要结构化文本生成的场景，例如新闻报道生成、食谱生成、技术文档生成等。该方法能够提高生成文本的质量和可控性，减少人工编辑的工作量。未来，Instruct-SCTG可以扩展到其他领域，例如故事创作、对话生成等，并与其他技术相结合，例如知识图谱、信息检索等，以进一步提高生成文本的质量和多样性。

📄 摘要（原文）

Instruction-tuned large language models have shown remarkable performance in aligning generated text with user intentions across various tasks. However, maintaining human-like discourse structure in the generated text remains a challenging research question. In this paper, we propose Instruct-SCTG, a flexible and effective sequential framework that harnesses instruction-tuned language models to generate structurally coherent text in both fine-tuned and zero-shot setups. Our framework generates articles in a section-by-section manner, aligned with the desired human structure using natural language instructions. Furthermore, we introduce a new automatic metric that measures discourse divergence in a fuzzy manner. Extensive experiments on three datasets from representative domains of news and recipes demonstrate the state-of-the-art performance of our framework in imposing discourse structure during text generation, as verified by both automatic and human evaluation. Our code will be available on Github.