Rethinking RAG in Long Videos: What to Retrieve and How to Use It?
作者: Yuho Lee, Jisu Shin, Nicole Hee-Yeon Kim, Jihwan Bang, Juntae Lee, Kyuwoong Hwang, Fatih Porikli, Hwanjun Song
分类: cs.AI
发布日期: 2026-06-11
💡 一句话要点
提出V-RAGBench和CARVE以解决长视频检索生成问题
🎯 匹配领域: 支柱六：视频提取与匹配 (Video Extraction)
关键词: 长视频理解 检索增强生成 多模态融合 片段自适应重排序 视频分析
📋 核心要点
- 现有VideoRAG方法在长视频检索生成中存在评估不准确和配置单一的问题，限制了其性能提升。
- 本文提出V-RAGBench基准和CARVE方法，通过引入片段自适应重排序，提升了检索和生成的效果。
- 实验结果表明，CARVE在性能上超越了八个最新的VideoRAG基线，展示了其在多配置下的优势。
📝 摘要（中文）
检索增强生成（RAG）技术正在向长时间自我中心视频扩展，系统必须在多个模态和时间粒度中选择与查询相关的片段。然而，现有的VideoRAG进展受限于两个主要问题：现有基准允许在没有视频的情况下回答查询，掩盖了检索错误；而之前的方法对每个查询应用单一模态-粒度配置，忽视了片段级的变异性。为了解决这两个问题，本文提出了V-RAGBench，一个包含<查询，证据片段，答案>三元组的基准，能够实现检索和生成的独立评估；同时提出了CARVE，一种简单的方法，通过在不同配置下并行运行检索器，并采用片段自适应重排序来识别每个片段的最佳配置。最终，CARVE在多个基准上超越了八个最新的VideoRAG方法。
🔬 方法详解
问题定义：本文旨在解决长视频检索生成中的评估不准确和片段配置单一的问题。现有方法在没有视频的情况下回答查询，导致检索错误未被发现，同时对每个查询使用固定的模态-粒度配置，无法适应片段级的变异性。
核心思路：论文提出的核心思路是通过V-RAGBench基准和CARVE方法，分别实现检索和生成的独立评估，并在检索阶段采用片段自适应重排序，以识别每个片段的最佳配置，从而提高生成的准确性。
技术框架：整体架构包括两个主要模块：首先是V-RAGBench基准，用于生成<查询，证据片段，答案>三元组；其次是CARVE方法，通过并行检索器和重排序机制，优化每个片段的生成配置。
关键创新：最重要的技术创新在于引入了片段自适应重排序机制，使得每个片段可以根据其特性选择最佳的模态-粒度配置，这一设计显著提升了生成的质量和准确性。
关键设计：在CARVE方法中，采用了并行检索器以支持多种配置，并通过重排序算法来选择最佳配置，确保每个片段在生成阶段使用其最优配置。
🖼️ 关键图片
📊 实验亮点
实验结果显示，CARVE方法在多个基准上超越了八个最新的VideoRAG方法，具体性能提升幅度达到XX%，展示了其在片段自适应配置上的显著优势。
🎯 应用场景
该研究的潜在应用领域包括视频内容分析、智能监控、虚拟现实等场景，能够提升长视频的理解和生成能力，具有重要的实际价值和广泛的未来影响。
📄 摘要（原文）
Retrieval-augmented generation is moving beyond text into long, egocentric video, where systems must select query-relevant chunks across multiple modalities and temporal granularities. Yet progress in VideoRAG is limited by two gaps: existing benchmarks allow queries to be answered without the video, obscuring retrieval errors, and prior methods apply a single modality-granularity configuration per query, ignoring chunk-level variability. We address both by introducing V-RAGBench, a benchmark of $\langle$query, evidence chunk, answer$\rangle$ triplets that enables faithful, decoupled evaluation of retrieval and generation, and CARVE, a simple method that runs parallel retrievers across configurations and employs chunk-adaptive reranking to identify the winning configuration for each chunk. Each chunk then enters the generator under its winning configuration selected during retrieval, yielding an interleaved evidence form where the chunk-level decision propagates across both stages. CARVE outperforms eight recent VideoRAG baselines, with the chunks supplied to the generator interleaving multiple configurations rather than sharing a single one, a behavior unattainable by query-level methods.