Structure-Aware Robust Fine-Tuning: Defending Vision-Language-Action Robots Against Physical Attention Hijacking

📄 arXiv: 2608.03231v1 📥 PDF

作者: Jinquan Zhang, Dongfu Yin, Run Yang, Yufeng Yan, Zhen Tian, F. Richard Yu

分类: cs.RO, cs.AI

发布日期: 2026-08-04

备注: Accepted to the 2026 IEEE/RSJ International Conference on Intelligent Robots and Systems (IROS 2026)

💡 一句话要点

提出结构感知鲁棒微调以防御视觉-语言-动作机器人对抗攻击

🎯 匹配领域: 支柱一：机器人控制 (Robot Control) 支柱七：动作重定向 (Motion Retargeting) 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 视觉-语言-动作 对抗攻击 鲁棒性 机器人技术 特征锚定 注意力机制 微调方法

📋 核心要点

  1. 现有的视觉-语言-动作策略在面对物理攻击时表现出脆弱性，尤其是对抗性补丁能够有效诱发系统失败。
  2. 提出的结构感知鲁棒微调（SARF）方法，通过特征锚定和语言引导的几何一致性，增强了视觉编码器的鲁棒性。
  3. 在LIBERO数据集上，SARF将OpenVLA在AGSD下的失败率从100%降低至14.2%-56.8%，在真实环境中也显著提升了成功率。

📝 摘要（中文）

视觉-语言-动作（VLA）策略在机器人操作中展现了广泛的应用潜力，但其在物理世界攻击下的鲁棒性仍然脆弱。本文展示了可实现的对抗性补丁如何通过一种称为策略关键的动作-视觉注意力劫持机制，可靠地诱发失败。为此，提出了注意力引导的语义干扰（AGSD），一种优化的可打印补丁，能够集中注意力并破坏语义对齐。为应对这些攻击，本文引入了结构感知鲁棒微调（SARF），该方法在不增加推理开销的情况下，仅对视觉编码器进行微调，显著降低了VLA机器人的失败率，同时保持了清晰的性能。

🔬 方法详解

问题定义：本文旨在解决视觉-语言-动作（VLA）机器人在物理攻击下的脆弱性，尤其是对抗性补丁引发的注意力劫持问题。现有方法未能有效抵御此类攻击，导致系统频繁失败。

核心思路：论文提出的结构感知鲁棒微调（SARF）方法，专注于对视觉编码器进行微调，通过特征锚定和注意力校正来增强系统的鲁棒性，确保注意力集中在任务相关区域。

技术框架：SARF的整体架构包括三个主要模块：特征锚定、策略关键注意力校正和语言引导的几何一致性。该框架在不增加推理开销的情况下，优化了视觉编码器的性能。

关键创新：最重要的创新在于引入了结构感知的微调策略，能够有效抵御对抗性补丁的攻击，与传统方法相比，显著提高了系统的鲁棒性和稳定性。

关键设计：在设计中，采用了特征锚定技术来确保视觉特征的稳定性，同时通过损失函数引导注意力集中在语义相关区域，确保了几何一致性。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果显示，SARF在LIBERO数据集上将OpenVLA的失败率从100%降低至14.2%-56.8%，平均降低幅度为28.6%。在真实的PiPER操控器上，成功率从23.0%提升至65.0%，显示出显著的性能提升。

🎯 应用场景

该研究的潜在应用领域包括智能机器人、自动化制造和人机交互等。通过增强VLA机器人的鲁棒性，能够在复杂和动态的物理环境中实现更安全和可靠的操作，具有重要的实际价值和未来影响。

📄 摘要（原文）

Vision-Language-Action (VLA) policies promise general robotic manipulation, but their robustness against physical-world attacks remains fragile. In particular, we show that physically realizable adversarial patches can reliably induce failures by triggering a mechanism we call policy-critical action-to-vision attention hijacking, where action-conditioned attention is diverted from task-relevant regions to a localized patch. To demonstrate the threat, we propose Attention-Guided Semantic Disruption (AGSD), an Expectation-over-Transformation (EOT) optimized printable patch that jointly (i) concentrates action-to-vision attention on the patch and (ii) disrupts vision-language semantic alignment, yielding strong cross-task and cross-architecture transfer. To mitigate such attacks, we introduce Structure-Aware Robust Fine-Tuning (SARF), a zero-inference-overhead defense that fine-tunes only the visual encoder using feature anchoring, policy-critical attention correction, and language-guided geometric consistency restricted to semantically relevant regions. On LIBERO, SARF reduces OpenVLA's failure rate under AGSD from 100% to 14.2%-56.8% (28.6% average) across suites while preserving clean performance, and on a real PiPER manipulator it improves average success under AGSD from 23.0% to 65.0%. These results highlight mechanism-level robustness as a practical path to securing VLA robots against physical attention hijacking.