LightSTAR: Efficient Visual Document Retrieval via Lightweight Selection with Vision-Adaptive Refinement

📄 arXiv: 2606.23539v1 📥 PDF

作者: Tongkun Guan, Haocheng Wang, Wei Shen, Xiaokang Yang

分类: cs.CV

发布日期: 2026-06-22

备注: Accpeted by ECCV 2026

🔗 代码/项目: GITHUB

💡 一句话要点

提出LightSTAR以解决视觉文档检索的效率问题

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 视觉文档检索 多模态学习 无LLM编码 语义匹配 特征融合 信息检索 效率优化

📋 核心要点

  1. 现有方法在视觉文档检索中面临高计算成本，尤其是在每个页面上都应用MLLM编码。
  2. LightSTAR通过无LLM的视觉选择和视觉自适应语义细化，优化了检索流程，提升了效率。
  3. 实验结果显示，LightSTAR在检索准确性上达到最先进水平，同时显著降低了延迟，具有实际应用价值。

📝 摘要（中文）

视觉文档检索需要快速从大型多模态语料库中定位相关页面以响应用户查询。尽管近期基于多模态大型语言模型（MLLMs）的方法在准确性上表现出色，但它们在每个页面上应用密集的MLLM编码导致计算成本高昂。针对这一问题，本文提出LightSTAR框架，分为两个主要部分：1）无LLM的视觉选择，利用内容驱动的查询编码聚焦于信息丰富的词汇，并生成高召回率的候选集；2）视觉自适应语义细化，针对这些候选集进行细粒度语义匹配，通过自适应区域特征融合有效结合文本和布局线索。实验结果表明，LightSTAR在检索准确性上达到最先进水平，同时将端到端延迟降低了数倍，提供了视觉文档检索中准确性与效率的有效解决方案。

🔬 方法详解

问题定义：本文旨在解决视觉文档检索中的高计算成本问题，现有方法在每个页面上应用MLLM编码导致效率低下。

核心思路：LightSTAR框架通过无LLM的视觉选择和视觉自适应语义细化，利用用户查询中的关键词快速缩小候选页面范围，从而提高检索效率。

技术框架：LightSTAR的整体架构分为两个主要模块：1）无LLM的视觉选择，利用内容驱动的查询编码生成候选集；2）视觉自适应语义细化，对候选集进行细粒度的语义匹配，结合文本和布局信息。

关键创新：LightSTAR的创新在于通过无LLM的视觉选择和自适应区域特征融合，显著提高了检索的准确性和效率，区别于传统方法的高计算开销。

关键设计：在设计中，采用了内容驱动的查询编码和自适应区域特征融合技术，损失函数通过困难样本对比优化，以提升模型的匹配能力。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果表明，LightSTAR在检索准确性上达到了最先进水平，同时将端到端延迟降低了数倍，相较于基线方法，性能提升显著，展示了其在实际应用中的潜力。

🎯 应用场景

LightSTAR可广泛应用于文档管理系统、数字图书馆和信息检索等领域，帮助用户快速找到所需信息，提升工作效率。未来，该技术有望在智能搜索引擎和自动化文档处理等场景中发挥更大作用。

📄 摘要（原文）

Visual document retrieval requires rapidly locating relevant pages from large multi-modal corpora in response to user queries. While recent methods powered by Multi-modal Large Language Models (MLLMs) show competitive accuracy, they suffer from prohibitive computational costs by applying intensive MLLM encoding to every single page. Meanwhile, we observe that user queries are typically keyword-anchored, containing semantically rich words that are expected to appear directly in the visible text of relevant pages, offering an efficient cue for quickly narrowing down candidate pages. Building on this insight, we propose LightSTAR, an efficient framework that decomposes visual document retrieval into: 1) LLM-free Visual Selection, which utilizes content-grounded query encoding to focus on informative words and employs LLM-free visual embeddings to produce a high-recall candidate set; and 2) Vision-adaptive Semantic Refinement, which further performs fine-grained semantic matching exclusively on these top candidates via adaptive region-wise feature fusion to effectively combine textual and layout cues, optimized through a hardness-aware contrastive objective. Experimental results demonstrate that LightSTAR achieves state-of-the-art retrieval accuracy while reducing end-to-end latency by several-fold, offering a highly practical solution to the accuracy-efficiency trade-off in visual document retrieval. Code is available at https://github.com/bokufa/LightSTAR.