SCoPE VLM: Selective Context Processing for Efficient Document Navigation in Vision-Language Models

📄 arXiv: 2510.21850v1 📥 PDF

作者: Gyubeum Lim, Yemo Koo, Vijay Krishna Madisetti

分类: cs.CV, cs.CL

发布日期: 2025-10-22

💡 一句话要点

SCoPE VLM：面向高效文档导航的视觉语言模型选择性上下文处理

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture) 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 视觉语言模型 长文档处理 选择性上下文 滚动链机制 强化学习 文档导航 多模态Agent

📋 核心要点

  1. 现有视觉语言模型在处理长文档视觉信息时面临挑战，尤其是在GUI控制和Web导航等任务中，缺乏对结构化文档的有效利用。
  2. SCoPE VLM通过滚动链机制选择性地导航文档，专注于相关片段，并采用定制的强化学习方法优化训练和推理之间的差距。
  3. 该方法显著降低了内存使用，并能有效模拟人类阅读行为，为多模态Agent在文档问答任务中提供了新的解决方案。

📝 摘要（中文）

理解长上下文视觉信息仍然是视觉语言模型（VLM）的一个根本挑战，尤其是在GUI控制和Web导航等代理任务中。虽然网页和GUI环境本质上是结构化文档，但当前的VLM通常忽略了面向决策的文档理解训练目标。现有方法主要扩展视觉嵌入以处理长而高分辨率的输入，但这些方法内存密集，不适用于本地部署的解决方案。为了解决这些问题，我们提出了SCoPE VLM，一个文档导航专家，它利用一种新颖的滚动链机制来选择性和递归地导航文档，只关注相关的片段。我们引入了一个专门的数据生成管道来构建信息丰富的滚动链轨迹，以及情景组相对策略优化，一种定制的强化学习方法，以减少训练和推理之间的差距。我们的方法大大减少了内存使用，并有效地模拟了类似人类的阅读行为。据我们所知，SCoPE VLM是第一个在多页文档问答中显式建模代理阅读模式的框架，从而提高了多模态代理的能力。

🔬 方法详解

问题定义：现有视觉语言模型在处理长文档时，通常采用扩展视觉嵌入的方式，导致内存消耗巨大，难以在本地部署。同时，这些模型忽略了文档的结构化信息，缺乏面向决策的文档理解能力，无法有效模拟人类的阅读行为，从而影响了在GUI控制和Web导航等任务中的表现。

核心思路：SCoPE VLM的核心思路是通过“滚动链”（Chain of Scroll）机制，模拟人类阅读文档时的选择性阅读行为。模型不是一次性处理整个文档，而是通过多次“滚动”操作，逐步聚焦于与当前任务相关的文档片段。这种选择性处理方式可以显著降低内存消耗，并提高处理效率。

技术框架：SCoPE VLM包含以下主要模块：1) 滚动链生成器：负责生成一系列的“滚动”操作，引导模型逐步浏览文档。2) 视觉语言模型：用于处理每个“滚动”操作后的文档片段，提取视觉和文本特征。3) 策略优化器：使用情景组相对策略优化（Episodic Group Relative Policy Optimization）方法，优化模型的策略，使其能够更好地选择相关的文档片段。整体流程是，模型首先根据当前任务和文档状态，选择一个“滚动”操作。然后，模型执行该操作，更新文档状态。接着，视觉语言模型处理更新后的文档片段，提取特征。最后，策略优化器根据模型的表现，调整模型的策略。

关键创新：SCoPE VLM的关键创新在于其“滚动链”机制和情景组相对策略优化方法。滚动链机制使得模型能够选择性地处理文档，降低内存消耗。情景组相对策略优化方法能够有效地减少训练和推理之间的差距，提高模型的泛化能力。此外，SCoPE VLM是第一个显式建模Agent阅读模式的框架，更贴近人类的阅读行为。

关键设计：在滚动链生成器中，使用了强化学习方法来学习最优的滚动策略。情景组相对策略优化方法通过比较不同情景下的策略表现，来优化模型的策略。在视觉语言模型中，可以使用各种现有的VLM架构，例如ViT和BERT。损失函数包括奖励函数和策略梯度损失函数。奖励函数用于评估模型在完成任务时的表现，策略梯度损失函数用于优化模型的策略。

📊 实验亮点

SCoPE VLM在多页文档问答任务上取得了显著的性能提升，并大幅降低了内存使用。通过滚动链机制，模型能够选择性地处理文档，从而减少了计算量和内存消耗。实验结果表明，SCoPE VLM在多个数据集上都优于现有的VLM方法，证明了其有效性和优越性。具体性能数据未知。

🎯 应用场景

SCoPE VLM在GUI控制、Web导航、文档问答等领域具有广泛的应用前景。它可以用于构建更智能的自动化Agent，帮助用户更高效地完成各种任务。例如，可以应用于自动化测试、智能客服、信息检索等场景。未来，该技术有望进一步扩展到其他需要处理长上下文视觉信息的领域，例如医疗影像分析、遥感图像解译等。

📄 摘要（原文）

Understanding long-context visual information remains a fundamental challenge for vision-language models, particularly in agentic tasks such as GUI control and web navigation. While web pages and GUI environments are inherently structured documents, current VLMs typically neglect decision-oriented document understanding in their training objectives. Existing approaches primarily extend visual embeddings to process long, high-resolution inputs, but these methods are memory-intensive and impractical for locally deployable solutions. To address these issues, we propose SCoPE VLM, a document navigation expert that leverages a novel Chain of Scroll mechanism to selectively and recursively navigate documents, focusing exclusively on relevant segments. We introduce a dedicated data generation pipeline to construct informative Chain of Scroll trajectories and Episodic Group Relative Policy Optimization, a tailored reinforcement learning method to reduce the gap between training and inference. Our method substantially reduces memory usage and effectively models human-like reading behaviors. To the best of our knowledge, SCoPE VLM is the first framework to explicitly model agentic reading patterns in multi-page document question answering, advancing the capabilities of multimodal agents.