MissClick: Exploiting Digit-Serialized Coordinates to Attack GUI Grounding Models
作者: Yu Ran, Wentao Zhao, Xin Zhang, Yi Pan
分类: cs.AI
发布日期: 2026-08-04
💡 一句话要点
提出MissClick以攻击GUI视觉定位模型的安全漏洞
🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)
关键词: GUI安全 对抗攻击 视觉定位 坐标生成 机器学习
📋 核心要点
- 现有GUI视觉定位模型在坐标生成过程中存在安全隐患，未能有效考虑数字序列的位值结构。
- 论文提出MissClick，通过分析坐标输出的数值和位值结构，设计了针对不同攻击目标的对抗攻击方法。
- 实验结果显示，MissClick-U和MissClick-T在非定向和定向攻击中均显著提升了成功率，分别提高了16.62和30.72个百分点。
📝 摘要（中文）
近年来，GUI视觉定位模型生成的屏幕坐标以数字序列的形式输出，这一过程的安全隐患尚未得到充分重视。本文观察到，坐标的每个数字作为分类标记被预测，然而在解析后，改变百位数字会导致坐标组件的显著位移。这一发现促使我们提出了MissClick，一个简单有效的白盒对抗攻击方法，包含两个目标特定的子方法：MissClick-U用于最大化坐标位移以实现非定向干扰，MissClick-T则最小化加权目标数字损失以实现定向劫持。实验结果表明，MissClick-U在多个平台上达到了75.07%和72.93%的非定向成功率，MissClick-T则达到了44.86%和62.67%的定向成功率，显示出不同攻击目标的优化偏好。
🔬 方法详解
问题定义：本文旨在解决现有GUI视觉定位模型在坐标生成过程中存在的安全漏洞，尤其是数字序列的位值结构未被充分利用的问题。现有方法未能考虑到数字变化对坐标位移的影响，导致潜在的安全风险。
核心思路：论文的核心思路是利用坐标输出的数值和位值结构，设计针对性的对抗攻击策略。通过将坐标视为具有数值意义的数字序列，而非普通文本，能够更有效地实现攻击目标。
技术框架：MissClick的整体架构包括两个主要模块：MissClick-U用于非定向攻击，最大化坐标位移；MissClick-T用于定向攻击，最小化加权目标数字损失。每个模块根据不同的攻击目标优化策略，确保攻击的有效性。
关键创新：论文的主要创新在于提出了基于坐标位值结构的攻击策略，MissClick-U和MissClick-T分别针对非定向和定向攻击进行了优化，显著提升了攻击成功率。这一方法与现有的对抗攻击方法在目标设定和优化策略上有本质区别。
关键设计：在MissClick-U中，采用了最大化软坐标位移的目标函数；而在MissClick-T中，设计了加权目标数字损失函数，以确保攻击的精确性和有效性。
🖼️ 关键图片
📊 实验亮点
实验结果显示，MissClick-U在OS-Atlas和UGround平台上实现了75.07%和72.93%的非定向攻击成功率，分别提高了16.62和30.72个百分点；而MissClick-T则达到了44.86%和62.67%的定向攻击成功率，提升幅度为31.73和47.06个百分点，展示了显著的性能提升。
🎯 应用场景
该研究的潜在应用领域包括GUI安全性评估、对抗样本生成以及提升用户界面的安全防护能力。通过识别和利用GUI模型的脆弱性，可以为开发更安全的应用程序提供重要参考，未来可能在金融、医疗等高安全性需求的领域产生深远影响。
📄 摘要（原文）
Recent GUI visual grounding models generate screen coordinates as sequences of digit tokens that are parsed into numerical values and mapped to executable clicks. The security implications of this coordinate generation process have been largely overlooked. We observe that each coordinate digit is predicted as a categorical token, yet after parsing, changing a hundreds-place digit by one changes the corresponding numerical coordinate component by 100 units, which can induce a large displacement of the executed click. This observation motivates attack objectives that account for the numerical and place-value structure of coordinate outputs rather than treating them as ordinary text. Moreover, untargeted and targeted attacks impose different success conditions--displacing the click outside the correct region versus into an attacker-specified region--and therefore benefit from different objectives. We propose MissClick, a simple and effective white-box adversarial attack with two goal-specific objectives: MissClick-U maximizes soft-coordinate displacement for untargeted disruption, while MissClick-T minimizes a place-weighted target-digit loss for targeted hijacking. Compared with existing attacks against GUI grounding models on OS-Atlas and UGround across desktop, web, and mobile platforms, MissClick-U achieves untargeted success rates of 75.07\% and 72.93\% (+16.62 and +30.72 pp), and MissClick-T achieves targeted success rates of 44.86\% and 62.67\% (+31.73 and +47.06 pp). Attack objective comparison further shows that soft-coordinate displacement yields the highest untargeted attack success rate, whereas place-weighted target-digit optimization yields the highest targeted attack success rate, revealing distinct objective preferences for the two attack goals.