From Bounding Boxes to Visual Reasoning: An On-Policy Data Annotation Tool for Vision-Language Models

📄 arXiv: 2606.18846v1 📥 PDF

作者: Like Zhang, Runliang Niu, Shiqi Wang, Xiyu Hu, Qianli Xing, Pan Wang, Qingzu He, Qi Wang

分类: cs.CV

发布日期: 2026-06-17

备注: 14 pages, 7 figures

🔗 代码/项目: GITHUB

💡 一句话要点

提出ScreenAnnotator以解决视觉语言模型数据标注问题

🎯 匹配领域: 支柱三：空间感知与语义 (Perception & Semantics)

关键词: 视觉语言模型 数据标注 贝叶斯验证 多任务学习 开源工具

📋 核心要点

  1. 现有数据标注工具在表达能力、标注与训练的耦合性以及数据重用性方面存在严重不足，无法满足复杂视觉推理的需求。
  2. 提出了ScreenAnnotator工具，通过定义统一的标注原子架构和在线标注循环，提升了标注效率和数据质量。
  3. 在流程图场景下，使用该工具进行VLM微调，平均准确率达到76.1%，相比基线提升了35.1个百分点。

📝 摘要（中文）

视觉语言模型（VLMs）正迅速朝着复杂的结构化视觉推理发展。训练此类高级能力的模型需要一种新型数据，能够将空间坐标、开放词汇描述、结构属性和拓扑关系无缝统一。然而，现有的数据标注工具在表达能力、标注与训练的耦合性以及数据重用性方面存在系统性瓶颈。为了解决这些问题，本文提出了一个开源标注工具ScreenAnnotator，定义了统一的标注原子架构，并实现了嵌入贝叶斯标注验证器的在线标注循环，设计了基于模板的多任务数据合成过程。实验表明，该工具在流程图和GUI截图上的标注接受率接近100%，并显著提高了模型的准确性。

🔬 方法详解

问题定义：本文旨在解决现有数据标注工具在视觉语言模型训练中存在的表达能力不足、标注与训练脱节以及数据重用性差等问题。

核心思路：通过引入统一的标注原子架构和在线标注循环，结合贝叶斯标注验证器，提升标注的准确性和效率，减少冗余标注。

技术框架：整体架构包括三个主要模块：统一标注原子架构、在线标注循环和模板驱动的多任务数据合成过程。标注原子将空间、语义和结构原语绑定为一个单元，在线循环则动态调整标注策略。

关键创新：最重要的创新在于引入了贝叶斯标注验证器（BAV），使得标注接受率显著提高，并通过动态调整标注策略来优化标注过程。

关键设计：在设计中，采用了基于模板的多任务数据合成方法，能够将静态原子转化为多维推理任务，减少了重复标注的需求。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果显示，在流程图场景下，标注接受率接近100%，而在GUI截图中为77%。使用该工具微调的VLM模型在流程图任务上的平均准确率达到76.1%，相比基线提升了35.1个百分点，显示出显著的性能提升。

🎯 应用场景

该研究的潜在应用领域包括智能助手、自动化内容生成和人机交互等。通过提高视觉语言模型的训练效率和准确性，能够推动相关技术在实际场景中的应用，提升用户体验和系统智能化水平。

📄 摘要（原文）

Vision-language models (VLMs) are rapidly advancing toward sophisticated grounded structured visual reasoning. Training models for such advanced capabilities demands a new genre of data that seamlessly unifies spatial coordinates, open-vocabulary descriptions, structured attributes, and topological relationships into a singular representation. However, existing data annotation tools fundamentally fail to meet these intricate demands, suffering from three systematic bottlenecks: limited expressiveness, severe annotation-training decoupling, and poor data reusability. To bridge this infrastructure gap, we introduce an open-source annotation tool, ScreenAnnotator. First, we define a unified annotation atom schema that binds spatial, semantic, and structural primitives into a single unit. Second, we implement an on-policy annotation loop embedded with a Bayesian Annotation Verifier (BAV). Finally, we design a template-driven multi-task data synthesis process dynamically transforms static atoms into diverse multi-dimensional reasoning tasks, eliminating redundant re-annotation. The on-policy loop drives the annotation accept rate to nearly 100% on flowcharts and 77% on GUI screenshots, while steadily reducing per-image annotation time as labeled data accumulate. In the flowchart scenario, fine-tuning a VLM yields 76.1% average accuracy, which is a 35.1% point absolute gain. Our code is available at: https://github.com/WnQinm/Annotator.