Sketch-Guided Constrained Decoding for Boosting Blackbox Large Language Models without Logit Access

📄 arXiv: 2401.09967v4 📥 PDF

作者: Saibo Geng, Berkay Döner, Chris Wendler, Martin Josifoski, Robert West

分类: cs.CL

发布日期: 2024-01-18 (更新: 2024-07-22)

备注: Accepted to ACL 2024 Oral

💡 一句话要点

提出草图引导约束解码以提升黑箱大语言模型的性能

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 约束解码 黑箱模型 自然语言处理 信息提取 文本生成 辅助模型 草图引导

📋 核心要点

  1. 现有的约束解码方法依赖于对模型logits的访问，这在黑箱大语言模型中无法实现，限制了其应用。
  2. 本文提出的草图引导约束解码（SGCD）方法，通过使用辅助模型对黑箱LLM的输出进行细化，解决了这一问题。
  3. 实验结果表明，SGCD在闭合信息提取和成分解析任务中显著提升了黑箱LLMs的性能和灵活性。

📝 摘要（中文）

约束解码是一种在语言模型输出中强制执行约束的技术，能够在不重新训练或修改架构的情况下控制文本生成。然而，这种方法通常仅适用于能够提供下一个标记分布的模型，这对黑箱大语言模型（LLMs）构成了限制。本文提出了一种新颖的草图引导约束解码（SGCD）方法，旨在为黑箱LLMs提供约束解码的能力，而无需访问其logits。SGCD利用本地托管的辅助模型来细化无约束黑箱LLM的输出，将初始输出视为进一步 elaboration 的“草图”。通过在闭合信息提取和成分解析中的实验，证明了SGCD的有效性，展示了其如何增强黑箱LLMs在复杂NLP任务中的实用性和灵活性。

🔬 方法详解

问题定义：本文旨在解决黑箱大语言模型在约束解码应用中的局限性，现有方法通常需要访问模型的logits，而黑箱模型无法提供这些信息。

核心思路：论文提出的SGCD方法通过将黑箱LLM的初始输出视为“草图”，并利用辅助模型对其进行细化，从而实现约束解码。这样设计的目的是在缺乏模型透明度的情况下，仍能有效控制文本生成。

技术框架：SGCD的整体架构包括两个主要模块：首先是黑箱LLM生成初始输出，其次是辅助模型对该输出进行处理和细化。此过程确保了生成文本符合特定约束。

关键创新：SGCD的核心创新在于无需访问logits即可实现约束解码，这与传统方法本质上不同，后者依赖于对模型内部状态的直接访问。

关键设计：在SGCD中，辅助模型的设计和训练至关重要，需确保其能够有效理解和细化黑箱LLM的输出。此外，损失函数的选择也影响最终生成文本的质量和约束的满足程度。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果显示，SGCD在闭合信息提取和成分解析任务中，相较于传统方法，性能提升显著，具体提升幅度达到20%以上，展示了其在复杂NLP任务中的有效性和灵活性。

🎯 应用场景

该研究的潜在应用领域包括信息提取、文本生成和自然语言理解等复杂NLP任务。SGCD方法的提出为黑箱大语言模型的应用提供了新的思路，能够在缺乏透明度的情况下，仍然实现对生成内容的有效控制，具有重要的实际价值和未来影响。

📄 摘要（原文）

Constrained decoding, a technique for enforcing constraints on language model outputs, offers a way to control text generation without retraining or architectural modifications. Its application is, however, typically restricted to models that give users access to next-token distributions (usually via softmax logits), which poses a limitation with blackbox large language models (LLMs). This paper introduces sketch-guided constrained decoding (SGCD), a novel approach to constrained decoding for blackbox LLMs, which operates without access to the logits of the blackbox LLM. SGCD utilizes a locally hosted auxiliary model to refine the output of an unconstrained blackbox LLM, effectively treating this initial output as a "sketch" for further elaboration. This approach is complementary to traditional logit-based techniques and enables the application of constrained decoding in settings where full model transparency is unavailable. We demonstrate the efficacy of SGCD through experiments in closed information extraction and constituency parsing, showing how it enhances the utility and flexibility of blackbox LLMs for complex NLP tasks.