DistilVDR: A Compact End-to-End Visual Document Retriever via Dual-Student Distillation
作者: Zhuchenyang Liu, Ziyi Wang, Yao Zhang, Yu Xiao
分类: cs.IR, cs.CL, cs.CV
发布日期: 2026-08-11
备注: 15 pages, 2 figures, 8 tables
🔗 代码/项目: GITHUB
💡 一句话要点
提出DistilVDR以解决视觉文档检索中的模型庞大问题
🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture)
关键词: 视觉文档检索 蒸馏训练 多模态学习 模型压缩 高效检索
📋 核心要点
- 现有的视觉文档检索模型通常参数庞大，导致索引速度慢且服务成本高，难以满足实际应用需求。
- 本文提出DistilVDR，通过双向蒸馏技术，从一个8B的教师模型中提取知识，构建一个紧凑的524M端到端VDR系统。
- 实验表明，DistilVDR-HiRes在高分辨率基准上达到了61.74的NDCG@5，显著优于现有的子1B基线，且索引速度提升了一个数量级。
📝 摘要（中文）
视觉文档检索（VDR）通常依赖于数十亿参数的模型，这使得在全语料库规模下的索引速度缓慢且服务成本高昂。现有的压缩方法要么从头训练一个较小的多向量编码器，要么仅对查询端进行蒸馏，均未能实现紧凑的单向量检索器。本文提出的DistilVDR是一个524M的端到端VDR系统，通过双向蒸馏自一个8B的视觉-语言教师模型，采用点对点余弦对齐损失进行训练。所有监督来自冻结的教师嵌入空间，学生目标无需相关性标签、负采样或对比项。我们设计了一个不对称的编码器，仅在文档侧集中视觉能力，同时查询侧保持在70M参数。实验结果显示，DistilVDR-HiRes在ViDoRe v1+v2+v3上达到了61.74的平均NDCG@5，领先于所有重现的子1B基线。
🔬 方法详解
问题定义：本文旨在解决视觉文档检索中现有模型庞大、索引速度慢及服务成本高的问题。现有方法往往依赖于数十亿参数的模型，难以在实际应用中高效运行。
核心思路：论文提出的DistilVDR通过双向蒸馏技术，从一个8B的视觉-语言教师模型中提取知识，构建一个紧凑的524M端到端VDR系统。该方法不需要相关性标签、负采样或对比项，简化了训练过程。
技术框架：DistilVDR的整体架构包括一个不对称的编码器，视觉能力集中在文档侧，查询侧则保持在70M参数。系统通过点对点余弦对齐损失进行训练，所有监督来自冻结的教师嵌入空间。
关键创新：最重要的技术创新在于双向蒸馏策略的应用，使得学生模型能够在不依赖额外标签的情况下，学习到有效的文档检索能力。这一设计与传统的单向蒸馏方法形成了鲜明对比。
关键设计：在参数设置上，DistilVDR-HiRes和DistilVDR-Fast分别在文档编码器的视觉块预算上有所不同，前者在高分辨率敏感的基准上表现更佳，而后者则在视觉令牌预算上更为紧凑。
🖼️ 关键图片
📊 实验亮点
实验结果显示，DistilVDR-HiRes在ViDoRe v1+v2+v3数据集上达到了61.74的平均NDCG@5，表现出86.9%的教师模型性能，且在高分辨率敏感的v3基准上领先所有重现的子1B基线。同时，DistilVDR的索引速度比最强的子1B多向量基线快一个数量级。
🎯 应用场景
DistilVDR的研究成果在视觉文档检索领域具有广泛的应用潜力，特别是在需要快速检索和处理大量文档的场景中，如数字图书馆、在线教育平台和企业文档管理系统。其紧凑的模型设计和高效的索引能力将推动相关技术的普及与应用。
📄 摘要（原文）
Visual document retrieval (VDR) is dominated by multi-billion-parameter models that are slow to index at full corpus scale and expensive to serve. Prior compression routes either train a smaller multi-vector encoder from scratch or distil only the query side; neither yields a compact single-vector retriever end-to-end. We present DistilVDR, a 524M end-to-end VDR system distilled bilaterally from a single 8B vision-language teacher under a pointwise cosine alignment loss. All supervision comes from the frozen teacher's embedding space, which was itself trained with relevance supervision, so the student objective needs no relevance labels, negative sampling, or contrastive term. We match VDR's text-query and image-document input asymmetry with an asymmetric encoder-only student that concentrates visual capacity on the document side and keeps the query side at 70M parameters. We release two variants that share the same encoders and training and differ only in the document encoder's visual-tile budget: DistilVDR-HiRes attains 61.74 average NDCG@5 on ViDoRe v1+v2+v3 (86.9% of the 8B teacher) and leads every reproduced sub-1B baseline on the high-resolution-sensitive v3 benchmark, while DistilVDR-Fast attains 59.98 at a 3 times smaller visual-token budget. Both variants store one million documents in a 15.6 times smaller index than the strongest sub-1B multi-vector baseline and index the corpus an order of magnitude faster. The code is available at https://github.com/Ryenhails/NanoVDR.