VLA-Stem: A Lightweight Safety Mechanism for Vision-Language-Action Models via Reinforcement Learning

📄 arXiv: 2610.37378v1 📥 PDF

作者: Bojun Zou, Wenhao Yu, Jiaohao Li, Jiaxuan Lin, Guanting Ye, Haohan Geng, Weihao Yu, Yanyong Zhang, Jianmin Ji

分类: cs.RO

发布日期: 2026-10-27

备注: 12 pages, 5 figures

💡 一句话要点

提出VLA-Stem以解决动态障碍物下的机器人安全控制问题

🎯 匹配领域: 支柱一：机器人控制 (Robot Control) 支柱二：RL算法与架构 (RL & Architecture) 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 视觉-语言-动作 强化学习 动态障碍物 机器人控制 安全机制 轨迹级指导 蒸馏训练

📋 核心要点

  1. 现有VLA模型主要针对静态操作，未能有效应对动态障碍物和空间约束，导致安全性不足。
  2. VLA-Stem通过将动作块转换为运动参考，利用轨迹级指导来适应动态环境，保持任务意图。
  3. 实验结果显示，VLA-Stem在多种仿真环境中显著提高了无碰撞任务成功率，同时保持了基础策略的性能。

📝 摘要（中文）

视觉-语言-动作（VLA）模型将高层推理与低层动作执行结合用于端到端的机器人控制。然而，大多数VLA模型主要针对静态操作，忽视了空间约束和动态障碍物。为了解决这些问题，本文提出了一种轻量级的基于强化学习的安全机制VLA-Stem。该机制在不微调VLA策略的情况下，通过将动作块转换为运动参考，并利用轨迹级指导来保持空间意图，同时允许灵活的运动和时间调整。VLA-Stem在六个约束的仿真设置中实现了52.8%的平均无碰撞任务成功率，相较于最强安全基线的23.7%有显著提升，且在真实世界实验中也表现出一致的碰撞减少效果。

🔬 方法详解

问题定义：本文旨在解决现有视觉-语言-动作（VLA）模型在动态环境中执行任务时的安全性问题。现有方法在面对动态障碍物时，往往无法有效调整动作，导致碰撞风险增加。

核心思路：VLA-Stem的核心思想是通过不微调基础VLA策略，而是将动作块转换为运动参考，并利用轨迹级指导来保持空间意图，从而实现灵活的运动调整。

技术框架：VLA-Stem的整体架构包括三个主要模块：动作块转换模块、轨迹级指导模块和Stem策略模块。动作块转换模块负责将VLA的输出转换为运动参考，轨迹级指导模块提供空间意图的保持，而Stem策略模块则根据机器人本体感知和局部障碍信息进行动态调整。

关键创新：VLA-Stem的主要创新在于其轻量级的设计，能够在不影响基础策略性能的情况下，快速响应动态环境的变化。这种设计使得机器人能够在复杂环境中保持高效的任务执行。

关键设计：在关键设计方面，VLA-Stem结合了教师-学生蒸馏与课程学习，以实现稳健且样本高效的训练。此外，设计了适应性的损失函数，以确保在动态障碍物下的安全性与任务意图的保持。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

在六个约束的仿真设置中，VLA-Stem实现了52.8%的平均无碰撞任务成功率，相较于最强安全基线的23.7%有显著提升。此外，真实世界实验也表明，在静态和动态障碍物下，VLA-Stem均能有效减少碰撞事件，验证了其在实际应用中的有效性。

🎯 应用场景

VLA-Stem的研究成果具有广泛的应用潜力，特别是在动态环境下的机器人控制，如自动驾驶、服务机器人和工业自动化等领域。通过提高机器人在复杂环境中的安全性和灵活性，该机制能够显著提升机器人在实际应用中的可靠性和效率。

📄 摘要（原文）

Vision-Language-Action (VLA) models integrate high-level reasoning with low-level action execution for end-to-end robotic control. However, most VLA models target static manipulation in unconstrained environments, overlooking spatial constraints and dynamic obstacles. Fine-tuning VLAs on obstacle-avoidance data is a straightforward solution, but collecting such data is costly, especially for dynamic scenarios, and may degrade their original task capabilities. To address these limitations, we propose VLA-Stem, a lightweight, reinforcement-learning-based safety mechanism for VLA systems. Without fine-tuning the underlying VLA policy, VLA-Stem converts its action chunks into motion references and uses trajectory-level guidance to preserve their spatial intent while allowing flexible motion and timing adjustments. Conditioned on these references, robot proprioception, and local obstacle information, the Stem policy adaptively modifies execution at inference time, preserving the original task intent while enabling responsive adaptation to spatial constraints and dynamic obstacles. For robust and sample-efficient training, we combine teacher-student distillation with curriculum learning. We evaluate VLA-Stem on reference following, static spatial constraints, and dynamic obstacle avoidance. Across six constrained simulation settings, VLA-Stem achieves 52.8% average collision-free task success versus 23.7% for the strongest safety baseline, while preserving base-policy performance in obstacle-free settings; real-world experiments further show consistent collision reductions under static and dynamic obstacles. These results demonstrate that VLA-Stem couples high-level VLA task intent with rapid, reflex-like responses to immediate physical risks, providing a brainstem-inspired mechanism for robust robot execution.