BadWorld: Adversarial Attacks on World Models
作者: Linghui Shen, Mingyue Cui, Xingyi Yang
分类: cs.CV
发布日期: 2026-06-15
备注: Project Page: https://linghuiishen.github.io/BadWorld/
💡 一句话要点
提出BadWorld框架以解决视觉世界模型的对抗攻击问题
🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture)
关键词: 视觉世界模型 对抗攻击 自监督学习 轨迹优化 模型鲁棒性
📋 核心要点
- 现有的视觉世界模型在面对对抗扰动时缺乏鲁棒性，标准攻击方法无法有效评估其脆弱性。
- 本文提出的BadWorld框架通过自监督速度攻击和轨迹自适应双层优化，解决了对抗攻击中的监督和用户控制不确定性问题。
- 实验结果表明，BadWorld能够有效触发VWMs的结构脆弱性，导致未来预测的严重退化，揭示了安全隐患。
📝 摘要（中文）
视觉世界模型（VWMs）能够从单一上下文图像合成交互式、动作条件的预测。然而，这些模型在面对对抗扰动时的鲁棒性仍然是一个未解的问题。标准的对抗攻击无法评估这种脆弱性，因为攻击者缺乏真实的未来视频，并且无法预测后续用户控制。本文提出了BadWorld，一个针对自回归VWMs的无标签对抗框架，系统性地克服了这两个限制。首先，我们提出了一种自监督速度攻击，直接干扰模型的早期去噪动态。其次，我们制定了一种轨迹自适应的双层优化，主动挖掘困难控制序列以形成与控制无关的扰动。在对代表性VWMs进行评估时，BadWorld揭示了严重的结构脆弱性，视觉上不可区分的对抗图像可靠地触发未来预测的灾难性退化，导致去噪不完全、结构崩溃和控制不一致。这些发现揭示了在安全关键系统中部署VWMs的重大风险，同时强调了一种隐私保护的实用机制。
🔬 方法详解
问题定义：本文旨在解决视觉世界模型在对抗攻击下的脆弱性问题。现有方法无法有效评估模型在缺乏未来监督和用户控制不确定性下的鲁棒性。
核心思路：BadWorld框架通过引入自监督速度攻击和轨迹自适应双层优化，旨在直接干扰模型的去噪过程，并生成与控制无关的扰动，从而提高攻击的有效性和普适性。
技术框架：该框架包括两个主要模块：自监督速度攻击模块和轨迹自适应优化模块。前者通过干扰模型的早期动态来生成对抗扰动，后者则通过挖掘困难控制序列来确保攻击的广泛适用性。
关键创新：最重要的创新在于提出了一种无标签的对抗攻击方法，能够在缺乏未来视频监督的情况下有效评估VWMs的脆弱性。这与传统的对抗攻击方法有本质区别。
关键设计：在设计中，采用了自监督学习策略来生成扰动，并通过双层优化算法来挖掘最具挑战性的控制序列，确保生成的扰动在多种控制情况下均能有效触发模型的脆弱性。具体的损失函数和网络结构细节在论文中进行了详细描述。
🖼️ 关键图片
📊 实验亮点
实验结果显示，BadWorld能够有效触发VWMs的结构脆弱性，导致未来预测的去噪不完全和结构崩溃。与基线模型相比，BadWorld在对抗攻击下的表现显著下降，揭示了VWMs在安全关键应用中的潜在风险。
🎯 应用场景
该研究的潜在应用领域包括自动驾驶、机器人控制和虚拟现实等安全关键系统。通过揭示视觉世界模型的脆弱性，研究为这些系统的安全性和隐私保护提供了重要的理论基础和实践指导，未来可能推动更鲁棒的模型设计和安全防护机制的开发。
📄 摘要（原文）
Visual world models (VWMs) synthesize interactive, action-conditioned rollouts from a single context image. However, it remains an open question how robust these models are to adversarial perturbations. Standard adversarial attacks fail to assess this vulnerability because attackers lack ground-truth future videos and cannot predict subsequent user controls. We introduce BadWorld, a label-free adversarial framework tailored for autoregressive VWMs that systematically overcomes both constraints. First, to bypass the need for future supervision, we propose a self-supervised velocity attack that directly disrupts the early denoising dynamics of the model. Second, to ensure the attack generalizes across unpredictable user actions, we formulate a trajectory-adaptive bi-level optimization that actively mines hard control sequences to forge control-agnostic perturbations. Evaluated on representative VWMs with continuous and discrete controls, BadWorld exposes severe structural fragility. Visually indistinguishable adversarial images reliably trigger catastrophic degradation in future rollouts, leading to incomplete denoising, structural collapse, and control inconsistency. These findings reveal critical risks for deploying VWMs in safety-critical systems while highlighting a practical mechanism for privacy protection.