LOCUS: Locate Once, Check Until Settled. Draft-and-Verify Visual Grounding with a Box Head and Coordinate-Token Verification

📄 arXiv: 2610.35053v1 📥 PDF

作者: Muhammad Talha

分类: cs.CV

发布日期: 2026-10-26

备注: 13 pages, 7 figures, 10 tables. Project page: https://muhammad-talha-ad.github.io/LOCUS/ Code: https://github.com/muhammad-talha-ad/LOCUS Models: https://huggingface.co/MTalha2001/LOCUS-2B and https://huggingface.co/MTalha2001/LOCUS-0.8B

💡 一句话要点

提出LOCUS以解决视觉语言模型中的定位精度与效率问题

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 视觉语言模型 定位精度 解码效率 Jacobi迭代 多模态学习 深度学习 模型优化

📋 核心要点

  1. 现有视觉语言模型在定位精度和解码效率之间存在权衡，导致在高IoU情况下性能下降。
  2. LOCUS提出了一种新的方法，通过将回归头与坐标标记结合，利用Jacobi迭代进行验证，从而提高定位精度。
  3. 实验结果显示，LOCUS在多个数据集上显著提升了准确率，并且在速度上比传统方法快1.5倍。

📝 摘要（中文）

视觉语言模型（VLMs）通过两种方式实现对指代表达的定位：一种是将边框解码为坐标标记，另一种是通过小头从隐藏状态回归。前者精确但每个标记需要逐步解码，后者虽然快速但在高IoU情况下精度下降。LOCUS方法结合了这两种方式，利用回归头作为模型坐标标记的初步草拟，并通过Jacobi迭代在共享图像前缀上进行验证。该方法在8个RefCOCO数据集上显著提高了准确率，并且在速度上也有明显优势。

🔬 方法详解

问题定义：论文旨在解决视觉语言模型在高IoU情况下定位精度不足与解码效率低下的问题。现有方法在精度与速度之间存在明显的权衡，导致模型性能受限。

核心思路：LOCUS通过将回归头作为初步草拟工具，生成坐标标记，并利用Jacobi迭代进行验证，从而在保持速度的同时提高定位精度。这样的设计使得模型能够更有效地整合两种方法的优点。

技术框架：LOCUS的整体架构包括回归头和坐标标记生成模块，后者通过Jacobi迭代与共享图像前缀进行验证。模型的所有部分共享权重，并联合训练，以实现更高的准确性和效率。

关键创新：LOCUS的主要创新在于将回归头与坐标标记的生成和验证结合起来，形成了一种新的草拟与验证机制。这种方法显著减少了解码步骤，提高了模型的整体性能。

关键设计：在模型设计中，LOCUS采用了共享权重的策略，确保回归头和验证器的协同工作。同时，Jacobi迭代的使用使得模型能够在较少的步骤中达到准确的定位结果。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

在8个RefCOCO数据集上，LOCUS显著提高了Locus-2B模型的Acc@0.9，从54.87提升至59.13，并且在Acc@0.5的表现上超越了所有已发布的最多3B参数的模型，除了Florence-2-L。此外，LOCUS在与Jag模型的对比中，在Acc@0.9上获得了+4.52的提升，且精确答案的生成速度比传统方法快1.5倍。

🎯 应用场景

LOCUS的研究成果在多种视觉任务中具有广泛的应用潜力，包括图像检索、自动标注和人机交互等领域。其提高的定位精度和效率将推动智能视觉系统的发展，提升用户体验和系统性能。

📄 摘要（原文）

Vision-language models (VLMs) ground a referring expression in one of two ways. They decode the box as coordinate tokens, which is precise but takes one sequential step per token, or they regress it from a hidden state with a small head, which takes one step but loses accuracy at high IoU. The two fail differently: a head usually finds the right object but places its edges loosely, while coordinate tokens place edges precisely. We therefore use the regression head as a speculative drafter for the model's own coordinate tokens. Locus writes the head's box as coordinate tokens and checks them with the same backbone by Jacobi iteration over a shared image prefix. The fixed point is the model's greedy coordinate-token answer, reached in about 5.60 sequential passes on average instead of 18.46 decoding steps; head and verifier are one set of weights, trained jointly. On the 8 RefCOCO, RefCOCO+ and RefCOCOg splits, verification raises Locus-2B's Acc@0.9 from 54.87 for its own head to 59.13, and the one-pass head is ahead at Acc@0.5 of every published model with at most 3B parameters except Florence-2-L. Against Jag, the strongest open regression-head model, at its own size and training budget, Locus ties at Acc@0.5 and, with typical acceptance, gains +4.52 points at Acc@0.9, with paired significance tests. Exact answers come 1.5x faster than vLLM greedy-decoding the same coordinate tokens with the same weights; a pure regression head remains faster still.