WinDOM: Self-Family Distillation for Small-Model GUI Grounding

📄 arXiv: 2606.25964v1 📥 PDF

作者: Chengheng Li-Chen, Zhiqian Zhou, Hao Chen, Nicolas Chauvin

分类: cs.AI, cs.LG

发布日期: 2026-06-24

💡 一句话要点

提出WinDOM以解决小模型GUI定位数据获取与训练结合问题

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture)

关键词: 小模型 GUI定位 自家庭蒸馏 数据集构建 强化学习

📋 核心要点

  1. 现有的小型GUI定位模型在数据获取和训练方法上存在挑战，尤其是缺乏高质量的标注数据和有效的训练策略。
  2. 论文提出WinDOM数据集和自家庭蒸馏（SFD）方法，旨在通过无人工标注的数据获取和优化的训练策略提升小模型性能。
  3. 实验结果表明，SFD方法在Qwen3.5-2B学生模型上，冷启动的性能优于传统方法，显著提升了多个任务的表现。

📝 摘要（中文）

小型（约2B参数）GUI定位代理因其适合设备端部署、辅助工具和低成本迭代而受到关注，但在这一规模下面临两个主要问题：如何在没有昂贵人工标注的情况下获取边界框训练数据，以及如何将监督微调与强化学习结合。为了解决这两个问题，WinDOM构建了一个包含54,425条记录的定位数据集，通过在无头Playwright下驱动开源Windows 11网页重实现，直接从DOM读取边界框，无需OCR或人工标注。论文提出的自家庭蒸馏（SFD）方法，通过选择教师模型（学生的EMA或冻结的大型同家族教师）来进行冷启动，优化了小模型的性能。

🔬 方法详解

问题定义：论文要解决的问题是如何在小型GUI定位模型中获取高质量的训练数据，并有效结合监督学习与强化学习。现有方法通常依赖昂贵的人工标注，限制了小模型的应用。

核心思路：论文提出的核心思路是通过构建WinDOM数据集，利用无头Playwright从DOM直接提取边界框，避免人工标注。同时，采用自家庭蒸馏（SFD）方法进行冷启动，优化模型性能。

技术框架：整体架构包括数据集构建、模型训练和蒸馏过程。数据集通过自动化工具生成，模型训练结合了监督微调和强化学习，蒸馏过程则通过选择合适的教师模型进行。

关键创新：最重要的技术创新点在于自家庭蒸馏（SFD）方法的提出，它允许在没有外部教师模型的情况下，通过学生模型的EMA进行冷启动，显著提升了小模型的性能。

关键设计：在SFD方法中，冷启动的饱和深度被视为显式的GRPO超参数，实验表明，未饱和的冷启动在性能初始化上优于已收敛的模型。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果显示，SFD-4B模型在早期强化学习下，相较于基线模型在多个任务上获得了显著提升，具体为：在ScreenSpot-Pro上提升3.5点，OSWorld-G上提升7.0点，ScreenSpot-V2上提升5.8点，整体OOD均值提升5.4点，展示了SFD方法的有效性。

🎯 应用场景

该研究的潜在应用领域包括移动设备上的GUI自动化、无障碍工具和低成本的迭代开发。通过优化小型模型的性能，WinDOM可以在资源受限的环境中实现高效的用户界面交互，推动智能助手和自动化工具的发展。

📄 摘要（原文）

Small ($\sim$2B) GUI-grounding agents are attractive for on-device deployment, accessibility tooling, and low-cost iteration, but at this scale they face two open recipe questions: how to obtain bounding-box training data without expensive human annotation, and how to combine supervised fine-tuning with reinforcement learning. We address both, with the explicit goal of pushing small-model performance rather than scaling up. WinDOM is a $54{,}425$-record grounding corpus harvested by driving an open-source Windows 11 web reimplementation under headless Playwright, with bounding boxes read directly off the DOM and no OCR or human annotation. Self-Family Distillation (SFD) is a single rejection-sampling cold-start parameterised only by the teacher choice: either an EMA of the student (no external model) or a frozen larger same-family teacher. We then treat the saturation depth of the SFD cold-start as an explicit GRPO hyperparameter. On a Qwen3.5-2B student, the under-saturated cold-start is a better GRPO initialiser than the converged one: SFD-4B with Early-init RL gains $+5.4$ OOD-mean ($+3.5$ ScreenSpot-Pro, $+7.0$ OSWorld-G, $+5.8$ ScreenSpot-V2) over the base. The same-size EMA mode lands within roughly one OOD-mean point of the cross-size $4$B variant ($65.2$ vs $66.3$) without an external teacher.