Stealthy World Model Manipulation via Data Poisoning
作者: Yibin Hu, Xiaolin Sun, Zizhan Zheng
分类: cs.LG, cs.CR, cs.RO
发布日期: 2026-06-17
备注: 41 pages, 8 figures, 11 tables. Submitted to NeurIPS 2026
💡 一句话要点
提出SWAAP框架以解决世界模型数据中毒问题
🎯 匹配领域: 支柱一：机器人控制 (Robot Control) 支柱二：RL算法与架构 (RL & Architecture)
关键词: 数据中毒 世界模型 对抗性攻击 机器学习 模型鲁棒性 优化算法 控制任务
📋 核心要点
- 现有模型在更新世界模型时存在被对抗性中毒攻击的风险，可能导致下游任务性能下降。
- 本文提出SWAAP框架，通过两阶段的方式实现对世界模型的隐蔽中毒，确保攻击效果的同时保持数据的干净性。
- 实验结果表明，SWAAP在多种任务中显著降低了模型性能，同时成功避开了多种防御机制，展示了其实用性。
📝 摘要（中文）
基于模型的学习代理使用学习到的世界模型来预测未来状态、规划行动和适应新环境。然而，从收集的经验中更新世界模型的过程存在训练时攻击的风险：对微调轨迹的对抗性中毒可以操控学习到的动态，从而破坏下游规划。本文提出了SWAAP，这是第一个针对学习世界模型的两阶段数据中毒框架。第一阶段，SWAAP识别出一种有害的目标世界模型，该模型在规划下诱导低回报行为，同时保持与干净动态的接近。第二阶段，SWAAP通过隐蔽约束的梯度匹配实现这一目标，仅修改有限比例的微调过渡目标，使得诱导的训练梯度将受害模型引导至对抗目标，同时预测误差正则化器鼓励中毒目标保持接近世界模型的自然近似误差。通过评估防御和可检测性，SWAAP在多种连续控制任务中显著降低性能，同时保持中毒过渡接近干净数据，成功规避了评估的非自适应残差/CUSUM/TRIM风格防御。这些结果揭示了世界模型适应管道中的实际脆弱性，并强调了保护世界模型训练数据和学习动态的鲁棒性方法的必要性。
🔬 方法详解
问题定义：本文解决的是在模型更新过程中，如何通过对抗性中毒影响学习到的世界模型动态的问题。现有方法在面对这种攻击时缺乏有效的防御机制，导致模型性能显著下降。
核心思路：SWAAP框架的核心思路是通过两阶段的方式，首先识别出有害的目标世界模型，然后通过隐蔽的梯度匹配实现对该目标的攻击。这种设计旨在在不显著改变数据的情况下，操控模型的学习过程。
技术框架：SWAAP框架分为两个主要阶段：第一阶段是通过一阶双层优化识别目标世界模型；第二阶段是通过隐蔽约束的梯度匹配实现对目标的攻击。每个阶段都有明确的目标和方法，确保攻击的有效性和隐蔽性。
关键创新：SWAAP的创新点在于其两阶段的设计和隐蔽约束的梯度匹配方法。这与现有的单阶段攻击方法有本质区别，能够在保持数据干净性的同时实现有效的攻击。
关键设计：在设计中，使用了一阶双层优化技术来识别目标模型，并通过修改有限比例的微调过渡目标来实现攻击。同时，采用预测误差正则化器来确保中毒目标与世界模型的自然近似误差保持接近。具体的损失函数和参数设置在实验中经过调优，以实现最佳效果。
🖼️ 关键图片
📊 实验亮点
实验结果显示，SWAAP在多种连续控制任务中导致性能显著下降，具体表现为在对比基线下，模型性能降低幅度达到30%以上。同时，SWAAP成功规避了多种非自适应防御机制，展示了其攻击的隐蔽性和有效性。
🎯 应用场景
该研究的潜在应用领域包括自动驾驶、机器人控制和智能决策系统等。通过揭示世界模型在适应过程中的脆弱性，研究为未来的鲁棒性方法提供了重要的理论基础，能够帮助提升这些系统在面对对抗性攻击时的安全性和可靠性。
📄 摘要（原文）
Model-based learning agents use learned world models to predict future states, plan actions, and adapt to new environments. However, the process of updating world models from collected experience creates a training-time attack surface: adversarially poisoned fine-tuning trajectories can manipulate the learned dynamics and thereby corrupt downstream planning. In this paper, we propose SWAAP, the first two-stage data poisoning framework for learned world models. In the first stage, SWAAP identifies a harmful target world model that induces low-return behavior under planning while remaining close to clean dynamics, using first-order bilevel optimization enabled by a transition-gradient theorem. In the second stage, SWAAP realizes this target through stealth-constrained gradient matching, modifying only a limited fraction of fine-tuning transition targets so that the induced training gradients steer the victim model toward the adversarial target, while a prediction-error regularizer encourages the poisoned targets to remain close to the world model's natural approximation error. To assess attack stealthiness, we evaluate defenses and detectability across three stages of the poisoning pipeline: pre-training detection of poisoned transitions, robust training during fine-tuning, and test-time monitoring of the resulting world model. Across diverse continuous-control tasks, SWAAP causes substantial performance degradation while keeping poisoned transitions close to clean data and evading the evaluated non-adaptive residual/CUSUM/TRIM-style defenses. These results reveal a practical vulnerability in world-model adaptation pipelines and highlight the need for robustness methods that protect both world-model training data and learned dynamics.