A Survey on Retrieval And Structuring Augmented Generation with Large Language Models

📄 arXiv: 2509.10697v1 📥 PDF

作者: Pengcheng Jiang, Siru Ouyang, Yizhu Jiao, Ming Zhong, Runchu Tian, Jiawei Han

分类: cs.CL

发布日期: 2025-09-12

备注: KDD'25 survey track

DOI: 10.1145/3711896.3736557

💡 一句话要点

综述检索与结构增强的大语言模型生成方法，解决幻觉、知识过时和领域受限问题。

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 大语言模型 检索增强生成 结构化知识 知识图谱 信息检索 自然语言处理 提示工程

📋 核心要点

  1. 现有大语言模型在实际应用中面临幻觉生成、知识过时和领域知识不足等挑战。
  2. 检索与结构化增强生成（RAS）通过整合动态信息检索和结构化知识表示来解决这些问题。
  3. 该综述考察了检索机制、文本结构化技术以及结构化表示与LLM的集成方法，并指出了未来研究方向。

📝 摘要（中文）

大型语言模型（LLM）以其卓越的文本生成和推理能力彻底改变了自然语言处理领域。然而，这些模型在实际应用中面临着严峻的挑战，包括幻觉生成、知识过时和领域专业知识有限。检索与结构化（RAS）增强生成通过整合动态信息检索与结构化知识表示来解决这些局限性。本综述（1）考察了用于访问外部知识的检索机制，包括稀疏、密集和混合方法；（2）探讨了文本结构化技术，如分类构建、分层分类和信息提取，这些技术将非结构化文本转换为有组织的表示；（3）研究了这些结构化表示如何通过基于提示的方法、推理框架和知识嵌入技术与LLM集成。它还指出了检索效率、结构质量和知识集成方面的技术挑战，同时强调了多模态检索、跨语言结构和交互系统方面的研究机会。这个全面的概述为研究人员和从业人员提供了对RAS方法、应用和未来方向的见解。

🔬 方法详解

问题定义：大型语言模型（LLMs）虽然在文本生成和推理方面表现出色，但存在知识更新滞后、生成内容缺乏事实依据（幻觉问题）以及特定领域知识不足等问题。现有的方法难以有效地利用外部知识来增强LLMs的生成能力，并且缺乏对检索到的信息的有效组织和结构化利用。

核心思路：本综述的核心思路是研究如何通过检索外部知识并将其结构化，然后将这些结构化知识有效地融入到LLMs的生成过程中，从而提高生成内容的质量、可靠性和领域相关性。通过检索增强LLMs的知识范围，并通过结构化组织信息来提高LLMs的推理能力。

技术框架：RAS增强生成的技术框架主要包含三个阶段：1) 检索阶段：从外部知识库中检索相关信息，采用稀疏检索、密集检索或混合检索方法。2) 结构化阶段：将检索到的非结构化文本转换为结构化表示，例如构建分类体系、进行分层分类或进行信息提取。3) 生成阶段：将结构化知识融入LLMs，通过提示工程、推理框架或知识嵌入等技术，引导LLMs生成更准确、更可靠的内容。

关键创新：该综述的关键创新在于系统性地总结和分析了检索与结构化增强生成（RAS）这一新兴领域的研究进展，并将其分解为检索、结构化和生成三个关键阶段。此外，该综述还指出了该领域面临的技术挑战和未来的研究方向，例如多模态检索、跨语言结构和交互式系统。

关键设计：在检索阶段，需要选择合适的检索方法（稀疏、密集或混合），并设计有效的检索策略。在结构化阶段，需要选择合适的结构化方法（分类构建、分层分类、信息提取），并设计合适的结构化模式。在生成阶段，需要选择合适的知识融合方法（提示工程、推理框架、知识嵌入），并设计合适的提示或损失函数来引导LLMs的生成过程。

📊 实验亮点

该综述系统性地总结了检索与结构化增强生成（RAS）领域的研究进展，并指出了该领域面临的技术挑战和未来的研究方向。它为研究人员和从业人员提供了对RAS方法、应用和未来方向的深刻见解，有助于推动该领域的发展。

🎯 应用场景

该研究成果可应用于问答系统、对话生成、内容创作、知识图谱构建等领域。通过增强LLMs的知识和推理能力，可以提高这些应用的准确性、可靠性和实用性。未来，该技术有望在医疗、金融、法律等专业领域发挥重要作用，为用户提供更专业、更智能的服务。

📄 摘要（原文）

Large Language Models (LLMs) have revolutionized natural language processing with their remarkable capabilities in text generation and reasoning. However, these models face critical challenges when deployed in real-world applications, including hallucination generation, outdated knowledge, and limited domain expertise. Retrieval And Structuring (RAS) Augmented Generation addresses these limitations by integrating dynamic information retrieval with structured knowledge representations. This survey (1) examines retrieval mechanisms including sparse, dense, and hybrid approaches for accessing external knowledge; (2) explore text structuring techniques such as taxonomy construction, hierarchical classification, and information extraction that transform unstructured text into organized representations; and (3) investigate how these structured representations integrate with LLMs through prompt-based methods, reasoning frameworks, and knowledge embedding techniques. It also identifies technical challenges in retrieval efficiency, structure quality, and knowledge integration, while highlighting research opportunities in multimodal retrieval, cross-lingual structures, and interactive systems. This comprehensive overview provides researchers and practitioners with insights into RAS methods, applications, and future directions.