Contextual Knowledge Pursuit for Faithful Visual Synthesis

📄 arXiv: 2311.17898v3 📥 PDF

作者: Jinqi Luo, Kwan Ho Ryan Chan, Dimitris Dimos, René Vidal

分类: cs.CV, cs.CL, cs.LG

发布日期: 2023-11-29 (更新: 2024-11-05)

备注: Accepted in ECCV 2024 SDCV Workshop. GitHub repository at https://github.com/peterljq/Contextual-Knowledge-Pursuit

💡 一句话要点

提出上下文知识追求框架以解决视觉合成中的幻觉问题

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 文本到视觉生成 上下文知识 生成模型 知识检索 视觉合成 深度学习 多模态融合

📋 核心要点

  1. 现有文本到视觉生成模型在提示不明确时容易产生幻觉，导致生成内容的可靠性下降。
  2. 本文提出CKPT框架，通过结合外部知识和参数知识，动态决定知识检索方式，提升生成质量。
  3. 实验显示CKPT在图像、3D渲染和视频生成等任务中，能够生成更真实和语义丰富的视觉内容。

📝 摘要（中文）

现代文本到视觉生成模型在描述场景的提示不明确时，常常会产生幻觉。为减少这种现象，现有方法通常依赖外部数据库检索事实知识。然而，静态的top-K检索方法仅一次性探索知识库，缺乏高质量生成所需的广泛上下文。本文提出上下文知识追求（CKPT）框架，结合外部知识和参数知识的优势，帮助生成器生成可靠的视觉内容。CKPT通过LLM决定是否检索外部知识或自我引发描述，进行上下文知识追求，增强提示，并通过过滤的微调目标改善视觉合成。实验结果表明，CKPT在多种文本驱动生成任务中表现出色，能够生成真实且语义丰富的内容。

🔬 方法详解

问题定义：本文旨在解决文本到视觉生成模型在提示不明确时产生幻觉的问题。现有的静态top-K检索方法仅一次性探索知识库，无法提供生成所需的广泛上下文，导致生成内容的质量不足。

核心思路：CKPT框架的核心思想是结合外部知识和模型内部的参数知识，动态选择知识检索方式，以增强生成提示的丰富性和准确性。通过这种方式，CKPT能够更好地利用已有知识，减少对外部数据的依赖。

技术框架：CKPT的整体架构包括四个主要模块：首先，使用LLM决定是检索外部知识还是自我引发描述；其次，进行上下文知识追求，逐步收集最相关的事实；然后，利用知识聚合器增强提示；最后，通过过滤的微调目标改善视觉合成。

关键创新：CKPT的主要创新在于其动态知识检索机制，区别于传统的静态检索方法。通过上下文知识追求，CKPT能够在生成过程中灵活调整所需的信息来源，从而提高生成内容的质量和可靠性。

关键设计：在CKPT中，关键设计包括知识追求过程的上下文相关性评估、知识聚合器的设计以及微调目标的过滤机制。这些设计确保了生成模型能够有效利用收集到的知识，提升最终的视觉合成效果。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果表明，CKPT在多个文本驱动生成任务中表现优异，相较于基线方法，生成的视觉内容在真实性和语义丰富性上有显著提升，具体性能数据未明确提供，但结果显示其在稀有物体和日常场景数据集上均表现出色。

🎯 应用场景

该研究的潜在应用领域包括图像生成、3D建模和视频合成等，能够为创意产业、游戏开发和虚拟现实等领域提供高质量的视觉内容生成解决方案。未来，CKPT框架有望进一步推动文本到视觉生成技术的发展，提升生成模型的实用性和可靠性。

📄 摘要（原文）

Modern text-to-vision generative models often hallucinate when the prompt describing the scene to be generated is underspecified. In large language models (LLMs), a prevalent strategy to reduce hallucinations is to retrieve factual knowledge from an external database. While such retrieval augmentation strategies have great potential to enhance text-to-vision generators, existing static top-K retrieval methods explore the knowledge pool once, missing the broader context necessary for high-quality generation. Furthermore, LLMs internally possess rich world knowledge learned during large-scale training (parametric knowledge) that could mitigate the need for external data retrieval. This paper proposes Contextual Knowledge Pursuit (CKPT), a framework that leverages the complementary strengths of external and parametric knowledge to help generators produce reliable visual content. Instead of the one-time retrieval of facts from an external database to improve a given prompt, CKPT uses (1) an LLM to decide whether to seek external knowledge or to self-elicit descriptions from LLM parametric knowledge, (2) a knowledge pursuit process to contextually seek and sequentially gather most relevant facts, (3) a knowledge aggregator for prompt enhancement with the gathered fact context, and (4) a filtered fine-tuning objective to improve visual synthesis with richer prompts. We evaluate CKPT across multiple text-driven generative tasks (image, 3D rendering, and video) on datasets of rare objects and daily scenarios. Our results show that CKPT is capable of generating faithful and semantically rich content across diverse visual domains, offering a promising data source for zero-shot synthesis and filtered fine-tuning of text-to-vision generative models.