FORGE: Frame Orthogonality in Relevance Geometry for Long-Form Video Understanding

📄 arXiv: 2607.25266v1 📥 PDF

作者: Ghazal Kaviani, Ghassan AlRegib

分类: cs.CV, cs.LG

发布日期: 2026-07-28

备注: Under Review

💡 一句话要点

提出FORGE以解决长视频理解中的信息选择问题

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 长视频理解 多模态大型语言模型 信息选择 查询条件几何 关键帧选择 视频分析 问答系统

📋 核心要点

  1. 现有方法在长视频理解中面临相关内容密度降低的问题，导致模型准确性下降。
  2. FORGE通过在推理时选择帧子集，利用查询条件几何结构最大化相关信息，且不需要额外训练。
  3. 在Video-MME和LongVideoBench的实验中，FORGE显著提升了关键帧选择得分和问答准确性。

📝 摘要（中文）

多模态大型语言模型（MLLMs）使得长视频理解在规模上达到了前所未有的水平。然而，随着视频序列长度的增加，相关内容的密度急剧下降，暴露模型于更多无关内容会显著降低其准确性。本文提出了一种在推理时选择帧子集以最大化查询相关信息的方法FORGE（Frame Orthogonality in Relevance Geometry），该方法不需要训练，且具有模型无关性。FORGE在预训练的多模态嵌入空间中引入了查询条件几何结构，将相关性和多样性统一为一个目标。实验结果表明，FORGE在多个基准测试中显著提高了关键帧选择的得分和问答准确性。

🔬 方法详解

问题定义：本文旨在解决长视频理解中，随着视频长度增加，相关内容密度降低的问题。现有方法在处理长视频时，常常面临信息选择不当导致的准确性下降。

核心思路：FORGE的核心思路是通过引入查询条件几何结构，最大化从视频帧中提取的相关信息，同时保持多样性。这种设计使得在嵌入空间中，覆盖独立查询相关方向的帧彼此远离，从而优化信息选择。

技术框架：FORGE的整体架构包括三个主要模块：首先是预训练的多模态嵌入空间，其次是查询条件几何的构建，最后是基于该几何进行帧选择的优化过程。

关键创新：FORGE的主要创新在于将相关性和多样性统一为一个优化目标，并通过查询条件几何的方式实现了模型无关性，这与现有方法的训练依赖性形成了鲜明对比。

关键设计：在设计中，FORGE采用了特定的损失函数来平衡相关性和多样性，同时在帧选择过程中设置了预算限制，以确保在给定帧数内提取最大的信息量。具体参数设置和网络结构细节在实验部分进行了详细说明。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果表明，FORGE在Video-MME和LongVideoBench上，关键帧选择得分提高了11.0-15.3分，关键帧召回率在K=64时达到了0.415，相较于最强基线的0.204几乎翻倍。此外，在问答任务中，准确性在所有评估设置中均有提升，最高提高了8.7分。

🎯 应用场景

FORGE的研究成果在长视频理解、视频摘要生成和多模态问答等领域具有广泛的应用潜力。通过优化信息选择，该方法可以提升视频内容的检索效率和准确性，进而推动智能视频分析技术的发展。

📄 摘要（原文）

Multimodal large language models (MLLMs) have enabled long-form video understanding at a scale that was not previously possible. However, the density of relevant content decreases sharply as video sequence length increases, and exposing the model to more irrelevant content measurably reduces its accuracy. In this paper, we address the problem of maximizing query-relevant information in a frame subset selected at inference time, without training. FORGE (Frame Orthogonality in Relevance Geometry) is a model-agnostic method that induces a query-conditioned geometry on a pretrained multimodal embedding space, unifying relevance and diversity into a single objective. In this space, frames that cover independent query-relevant directions are far apart, and selecting the subset of maximum information captures diverse query-relevant content within the budget. Experiments on Video-MME and LongVideoBench at budgets of 16, 32, and 64 frames show that FORGE improves the unified keyframe selection score by 11.0-15.3 points over the strongest training-free baseline and up to doubles keyframe recall (0.415 vs. 0.204 at K=64 on Video-MME). The gains extend to question answering, where accuracy improves in every evaluated setting across eight open-source MLLMs spanning 4B to 32B parameters, by up to 8.7 points over uniform sampling and 5.2 points over the strongest baseline. Our findings suggest that aligning the embedding space with the query's high-dimensional structure is a promising direction for inference-time video understanding.