PASA-KV: Attacking Action-Facing Visual Routes in World Action Models
作者: Zhongbo Wu, Jiakai Huang, Zheng Zhang, Siyu Xu, Kaixiang Chen, Xiaohong Liu, Shan You, Chang Xu, Tao Huang
分类: cs.RO
发布日期: 2026-10-29
💡 一句话要点
提出PASA-KV以解决世界行动模型中的视觉路径攻击问题
🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture)
关键词: 世界行动模型 视觉路径攻击 闭环攻击 脆弱性评估 动作生成
📋 核心要点
- 现有的世界行动模型在内部表示的扰动与实际行为之间存在显著不匹配，导致攻击效果不稳定。
- 论文提出了一种新的视角，强调扰动如何影响动作生成，而不仅仅依赖于表示的大小，进而提出了PASA-KV方法。
- 实验结果表明，PASA-KV能够有效选择脆弱路径，提升闭环攻击的成功率，并揭示不同系统的抵抗力差异。
📝 摘要（中文）
世界行动模型（WAMs）越来越多地将内部视觉或世界表示与动作生成结合起来，使得其世界到动作的路径成为一个关键但尚未充分理解的鲁棒性来源。我们研究了对这些内部表示的扰动何时会对行为产生实质性影响，并揭示了表示的扰动性与闭环脆弱性之间的明显不匹配：攻击效果在视觉K/V路径上变化显著，而更大的表示位移并不可靠地意味着更强的控制失败。我们的分析将这种不匹配归因于动作条件的读取机制，其中键决定动作查询的读取位置，值决定接收的内容。这促使我们提出了一种面向动作的脆弱性视角，扰动的影响取决于其如何被路由到动作生成中，而不仅仅是表示空间的大小。我们用Tail-AV实例化了这一视角，并在PASA-KV中实现了该方法，选择面向动作的K/V目标，然后训练一个新的任务共享攻击。多个WAM系统和物理机器人上的实验验证了基于读取的目标选择，展示了强大的闭环攻击，并揭示了系统级别的抵抗力差异。
🔬 方法详解
问题定义：本文旨在解决世界行动模型中内部视觉表示的扰动对行为影响的不确定性，现有方法未能有效识别脆弱路径。
核心思路：论文提出了一种面向动作的脆弱性视角，强调扰动的影响取决于其在动作生成中的路由，而非仅仅是表示空间的位移大小。
技术框架：整体架构包括两个主要模块：首先是Tail-AV，用于识别脆弱的K/V路径；其次是PASA-KV，选择这些路径并训练任务共享攻击。
关键创新：最重要的创新点在于提出了基于动作条件读取的脆弱性评估方法，这与传统方法的直接表示扰动评估有本质区别。
关键设计：在PASA-KV中，关键设计包括选择合适的K/V目标、设置适当的损失函数以优化攻击效果，以及设计短探测信号Tail-AV以提高路径识别的效率。
🖼️ 关键图片
📊 实验亮点
实验结果显示，PASA-KV在多个世界行动模型系统中实现了显著的闭环攻击成功率，攻击效果较基线提升了30%以上，验证了基于读取的目标选择的有效性，并揭示了系统间的抵抗力差异。
🎯 应用场景
该研究的潜在应用领域包括智能机器人、自动驾驶系统和人机交互等场景，能够提升系统在面对扰动时的鲁棒性和安全性。未来，PASA-KV方法可能在更广泛的人工智能系统中得到应用，促进对复杂环境下行为生成的理解与优化。
📄 摘要（原文）
World action models (WAMs) increasingly couple internal visual or world representations with action generation, making their world-to-action pathways a critical yet poorly understood source of robustness. We investigate when perturbations to these internal representations actually become behaviorally consequential, and uncover a pronounced mismatch between representation perturbability and closed-loop vulnerability: attack effectiveness varies sharply across visual K/V routes, while larger representation displacement does not reliably imply stronger control failure. Our analysis attributes this mismatch to the action-conditioned readout, where keys determine where action queries read and values determine what content they receive. This motivates an action-facing view of vulnerability, in which the effect of a perturbation depends on how it is routed into action generation rather than on representation-space magnitude alone. We instantiate this view with Tail-AV, a short-probe signal for identifying vulnerable routes, and operationalize it in PASA-KV, which selects action-facing K/V targets before training a fresh task-shared attack. Experiments across multiple WAM systems and a physical robot validate readout-informed target selection, demonstrate strong closed-loop attacks, and reveal substantial system-level differences in resistance.