Rethinking RAG in Long Videos: What to Retrieve and How to Use It?

📄 arXiv: 2606.13141 📥 PDF

作者: Yuho Lee, Jisu Shin, Nicole Hee-Yeon Kim, Jihwan Bang, Juntae Lee, Kyuwoong Hwang, Fatih Porikli, Hwanjun Song

分类: cs.AI

发布日期: 2026-06-12

💡 一句话要点

提出V-RAGBench和CARVE以解决长视频检索生成问题

🎯 匹配领域: 支柱六：视频提取与匹配 (Video Extraction)

关键词: 长视频理解 检索增强生成 多模态学习 片段自适应重排序 视频检索

📋 核心要点

  1. 现有的VideoRAG方法在长视频检索中存在两个主要问题：基准测试未能真实反映检索错误，且对查询的处理缺乏灵活性。
  2. 本文提出V-RAGBench基准和CARVE方法，前者用于评估检索和生成的有效性，后者通过并行检索和自适应重排序来优化片段选择。
  3. CARVE在实验中表现优异，超越了八个基线方法，展示了在片段级别上灵活配置的优势。

📝 摘要（中文）

检索增强生成（RAG）正在向长视频领域扩展，系统必须在多个模态和时间粒度中选择与查询相关的片段。然而，现有的VideoRAG进展受限于两个缺口：现有基准允许在没有视频的情况下回答查询，掩盖了检索错误；而之前的方法对每个查询应用单一模态-粒度配置，忽视了片段级的变异性。为了解决这两个问题，本文提出了V-RAGBench，一个包含$ extlangle$query, evidence chunk, answer$ extrangle$三元组的基准，能够实现检索和生成的真实、解耦评估；同时提出了CARVE，一种在多个配置下并行运行检索器并采用片段自适应重排序的方法，以识别每个片段的最佳配置。实验结果表明，CARVE在性能上超越了八个最新的VideoRAG基线。

🔬 方法详解

问题定义：本文旨在解决长视频中的检索增强生成（RAG）问题，现有方法在检索时未能有效处理视频内容，导致检索错误未被识别，同时对查询的处理缺乏多样性。

核心思路：提出V-RAGBench基准以实现检索和生成的解耦评估，并通过CARVE方法在多个模态和粒度配置下并行检索，选择最佳片段配置。

技术框架：整体架构包括两个主要模块：V-RAGBench用于评估检索和生成的有效性，CARVE方法通过并行检索和片段自适应重排序来优化片段选择。

关键创新：最重要的创新在于CARVE方法能够在片段级别上灵活选择配置，而不是在查询级别上共享单一配置，这一设计显著提升了生成的准确性和相关性。

关键设计：CARVE方法的关键设计包括多个并行检索器的配置、片段自适应重排序机制，以及在生成阶段根据检索结果选择最佳配置的策略。具体的参数设置和损失函数设计尚未详细说明，可能为未知。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果表明，CARVE方法在性能上超越了八个最新的VideoRAG基线，具体提升幅度未详细说明，但其片段级配置选择能力显著优于传统的查询级方法，展示了更高的生成质量和相关性。

🎯 应用场景

该研究具有广泛的应用潜力，尤其在视频内容生成、视频检索和多模态学习等领域。通过提高长视频的检索和生成效率，能够为教育、娱乐和社交媒体等行业提供更为精准和个性化的内容推荐，推动相关技术的发展与应用。

📄 摘要（原文）

Retrieval-augmented generation is moving beyond text into long, egocentric video, where systems must select query-relevant chunks across multiple modalities and temporal granularities. Yet progress in VideoRAG is limited by two gaps: existing benchmarks allow queries to be answered without the video, obscuring retrieval errors, and prior methods apply a single modality-granularity configuration per query, ignoring chunk-level variability. We address both by introducing V-RAGBench, a benchmark of $\langle$query, evidence chunk, answer$\rangle$ triplets that enables faithful, decoupled evaluation of retrieval and generation, and CARVE, a simple method that runs parallel retrievers across configurations and employs chunk-adaptive reranking to identify the winning configuration for each chunk. Each chunk then enters the generator under its winning configuration selected during retrieval, yielding an interleaved evidence form where the chunk-level decision propagates across both stages. CARVE outperforms eight recent VideoRAG baselines, with the chunks supplied to the generator interleaving multiple configurations rather than sharing a single one, a behavior unattainable by query-level methods.