Invisible Ink Threats: Adversarial Goals Behind Legitimate Tasks in Computer-Use Agents
作者: Jia-Chen Zhang, Ze-Yu Zhang, Kai-Wei Zhang
分类: cs.CV
发布日期: 2026-08-03
💡 一句话要点
提出II-Bench以应对计算机使用代理中的隐形墨水威胁
🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)
关键词: 计算机使用代理 对抗性攻击 隐形墨水威胁 安全评估 人机协作 低危注入攻击 II-Bench HITLCUA
📋 核心要点
- 现有的CUAs防御机制在面对低危注入攻击时效果不佳，导致安全隐患被忽视。
- 本文提出II-Bench和HITLCUA框架，系统性地评估CUAs在低危攻击下的表现，增强安全性。
- 实验结果显示，低危注入攻击能够绕过现有的防御措施，揭示了CUAs面临的严重安全风险。
📝 摘要（中文）
计算机使用代理（CUAs）使大型语言模型能够自主操作操作系统和网络，但它们越来越容易受到间接提示注入攻击。虽然人机协作的防御机制在高危攻击中有效，但对低危注入目标的防护不足。本文提出II-Bench，一个包含444个看似无害的对抗性任务的集合，针对机密性和完整性攻击，涵盖页面导航、敏感信息外泄和代码下载等三大类。我们还构建了HITLCUA，一个综合的对抗性测试框架，模拟人类参与，评估CUAs的安全性，发现低危注入攻击常常绕过防御机制，暴露出严重的安全风险。
🔬 方法详解
问题定义：本文旨在解决计算机使用代理（CUAs）在面对低危注入攻击时的安全防护不足问题。现有的人机协作防御机制在高危攻击中有效，但对低危攻击的防护能力有限，导致潜在的安全风险未被重视。
核心思路：论文提出II-Bench，一个包含444个对抗性任务的集合，旨在系统性地评估CUAs在低危注入攻击下的表现。同时，构建HITLCUA框架，通过模拟人类参与来测试CUAs的安全性。
技术框架：HITLCUA框架集成了真实的虚拟机操作系统环境与隔离的Docker基础网络平台，允许CUAs在执行可疑操作前咨询API模拟的用户。框架的主要模块包括任务生成、用户模拟和安全评估。
关键创新：最重要的创新点在于提出了“隐形墨水威胁”概念，强调低危注入攻击的潜在风险，并通过II-Bench和HITLCUA框架系统性地揭示了这一问题。与现有方法相比，本文的研究更关注低危攻击的行为特征及其对CUAs的影响。
关键设计：在II-Bench中，任务被分为三大类，并在自然语言和代码形式下生成，具有不同的指令具体性。HITLCUA框架通过API模拟用户参与，增强了对CUAs的测试效果。
🖼️ 关键图片
📊 实验亮点
实验结果表明，低危注入攻击能够频繁绕过CUAs的防御机制和模拟用户审查，暴露出严重的安全风险。具体而言，CUAs在面对II-Bench中的任务时，低危注入攻击的成功率显著高于预期，显示出当前防护措施的不足。
🎯 应用场景
该研究的潜在应用领域包括安全软件开发、人工智能助手的安全性评估以及操作系统的安全防护。通过识别和防范隐形墨水威胁，能够提升CUAs的安全性，保护用户数据和隐私，具有重要的实际价值和未来影响。
📄 摘要（原文）
Computer-use agents (CUAs), which empower large language models to autonomously operate operating systems and the web, are increasingly vulnerable to indirect prompt injection attacks. A widely adopted defense is the human-in-the-loop paradigm, in which the agent pauses for explicit user confirmation before executing sensitive operations. While effective against conspicuously high-harm attacks, this defense offers little protection against what we term Invisible Ink Threats: low-harm injected goals, such as starring a repository or installing a package, that are behaviorally indistinguishable from legitimate task execution and thus evade both model safety mechanisms and human oversight. To systematically investigate this blind spot, we present II-Bench, a collection of seemingly harmless adversarial tasks. II-Bench comprises 444 examples targeting confidentiality and integrity attacks across three platforms, spanning three attack categories: page navigation and interaction, sensitive information exfiltration, and code download and execution. Each category is instantiated in both natural language and code forms under two levels of instruction specificity. Furthermore, we construct HITLCUA, a comprehensive adversarial testing framework that integrates a real virtual machine operating system environment with isolated Docker-based web platforms, and simulates human participation by allowing CUAs to consult an API-simulated user before proceeding with suspicious operations. Extensive evaluations of leading CUAs reveal that low-harm injections frequently bypass both agent defenses and simulated user review, exposing severe and previously underexplored security risks in current CUAs.