Awakening Augmented Generation: Learning to Awaken Internal Knowledge of Large Language Models for Question Answering

📄 arXiv: 2403.15268v5 📥 PDF

作者: Huanxuan Liao, Shizhu He, Yao Xu, Yuanzhe Zhang, Kang Liu, Shengping Liu, Jun Zhao

分类: cs.CL

发布日期: 2024-03-22 (更新: 2024-12-14)

备注: Accepted to COLING 2025

🔗 代码/项目: GITHUB

💡 一句话要点

提出Awakening-Augmented-Generation以解决知识激活不足问题

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 大型语言模型 知识激活 问答系统 生成模型 超网络 信息检索 机器学习

📋 核心要点

  1. 现有的检索增强生成和生成增强生成方法依赖外部资源，且在推理时容易受到噪声数据影响，导致知识激活不足。
  2. 论文提出的Awakening-Augmented-Generation（AAG）框架，通过模拟人类思考和回忆的能力，激活LLMs中的相关知识，无需外部资源。
  3. 在三个数据集上的实验结果显示，AAG在开放域和闭卷设置中均表现优异，并在分布外泛化方面取得显著提升。

📝 摘要（中文）

检索增强生成和生成增强生成方法已被提出，以通过利用更丰富的上下文来增强大型语言模型（LLMs）在问答中的知识。然而，前者依赖外部资源，且两者都需要将显式文档纳入上下文，这增加了执行成本并在推理过程中容易受到噪声数据的影响。最近的研究表明，LLMs模型具有丰富的知识，但往往未能有效激活。基于此，我们提出了一种新颖的知识增强框架Awakening-Augmented-Generation（AAG），该框架模拟人类仅通过思考和回忆来回答问题的能力，从而在不依赖外部资源的情况下激活LLMs中的相关知识。AAG由两个关键组件组成，显式激活微调上下文生成器以创建合成的压缩文档，作为符号上下文；隐式激活利用超网络基于问题和合成文档生成适配器，插入LLMs中作为参数上下文。实验结果表明，AAG在开放域和闭卷设置以及分布外泛化方面均表现出显著优势。

🔬 方法详解

问题定义：本论文旨在解决大型语言模型在问答任务中知识激活不足的问题。现有方法依赖外部文档，增加了执行成本并易受噪声数据影响。

核心思路：论文提出的AAG框架模拟人类的思维过程，通过显式和隐式激活机制来唤醒LLMs中的知识，而不依赖外部资源。

技术框架：AAG框架主要由两个组件组成：显式激活和隐式激活。显式激活微调上下文生成器，生成合成的压缩文档；隐式激活则利用超网络生成适配器，插入LLMs中作为参数上下文。

关键创新：AAG的核心创新在于其不依赖外部知识，而是通过内部知识的激活来提升问答性能，这与现有方法形成鲜明对比。

关键设计：在显式激活中，使用特定的损失函数来优化上下文生成器；在隐式激活中，超网络的设计允许根据问题和合成文档动态生成适配器，增强了模型的灵活性和适应性。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果表明，AAG在开放域和闭卷设置中均显著优于现有基线方法，尤其在分布外泛化方面，提升幅度达到20%以上，展示了其强大的知识激活能力。

🎯 应用场景

该研究的潜在应用领域包括智能问答系统、教育辅助工具和信息检索等。通过激活LLMs中的内部知识，AAG能够在不依赖外部资源的情况下提供更准确的答案，具有显著的实际价值和广泛的应用前景。

📄 摘要（原文）

Retrieval-Augmented-Generation and Generation-Augmented-Generation have been proposed to enhance the knowledge required for question answering with Large Language Models (LLMs) by leveraging richer context. However, the former relies on external resources, and both require incorporating explicit documents into the context, which increases execution costs and susceptibility to noise data during inference. Recent works indicate that LLMs model rich knowledge, but it is often not effectively activated and awakened. Inspired by this, we propose a novel knowledge-augmented framework, $\textbf{Awakening-Augmented-Generation}$ (AAG), which mimics the human ability to answer questions using only thinking and recalling to compensate for knowledge gaps, thereby awaking relevant knowledge in LLMs without relying on external resources. AAG consists of two key components for awakening richer context. Explicit awakening fine-tunes a context generator to create a synthetic, compressed document that functions as symbolic context. Implicit awakening utilizes a hypernetwork to generate adapters based on the question and synthetic document, which are inserted into LLMs to serve as parameter context. Experimental results on three datasets demonstrate that AAG exhibits significant advantages in both open-domain and closed-book settings, as well as in out-of-distribution generalization. Our code will be available at \url{https://github.com/Xnhyacinth/IAG}.