Fast and Accurate: An Adaptive VLA Inference Framework through Environment-aware Model Selection

📄 arXiv: 2608.06434v1 📥 PDF

作者: Yuewei Sun, Lang Qin, Zechuan Tian, Jingwen Li, Guiqin Wang, Shengzeng Huo, Wenxin Ren, Tao Fang, Xiaochen Zhang, Guanqing Deng, Xiang Wang, Xiaowen Dong, Qinghai Guo, Yuxin Ma

分类: cs.RO, cs.LG

发布日期: 2026-08-06

💡 一句话要点

提出环境感知模型选择框架以解决VLA推理效率问题

🎯 匹配领域: 支柱一：机器人控制 (Robot Control) 支柱二：RL算法与架构 (RL & Architecture) 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 环境感知 模型选择 视觉-语言-动作 强化学习 双系统架构 高频控制 模块化设计

📋 核心要点

  1. 现有的双系统VLA架构存在紧密耦合的问题，限制了模块化、可扩展性和灵活性。
  2. 本文提出环境感知模型选择（EMS）框架，通过环境感知动态选择解耦的系统，实现高效推理。
  3. 在LIBERO基准上，EMS成功率与大规模基线相当，有效动作频率提升至93.4 Hz，表现出强大的扩展性。

📝 摘要（中文）

具身智能要求长时间推理与实时闭环响应的结合。现有的双系统视觉-语言-动作（VLA）架构将快速反应控制与缓慢深思推理结合，但存在紧密耦合的问题，限制了模块化和灵活性。本文提出了一种环境感知模型选择（EMS）框架，通过环境感知的模型选择在两种完全解耦的系统之间切换。大规模的深思系统提供全局一致的轨迹规划，而轻量级的反应系统则实现高频闭环控制。基于强化学习的切换策略根据实时反馈动态选择系统，从而在利用预训练知识与运行效率之间取得平衡。实验结果表明，EMS在LIBERO基准上实现了与大规模基线相当的成功率，同时有效动作频率提高至93.4 Hz。

🔬 方法详解

问题定义：本文旨在解决现有双系统VLA架构中快速模块与慢速模块之间的紧密耦合问题，这种耦合限制了系统的模块化和灵活性。

核心思路：提出环境感知模型选择（EMS）框架，通过环境感知动态选择两种完全解耦的系统，以实现高效的推理和控制。大规模的深思系统负责全局轨迹规划，而轻量级的反应系统则负责高频闭环控制。

技术框架：EMS框架包含两个主要模块：大规模的深思系统和轻量级的反应系统。通过强化学习策略，系统能够根据实时反馈动态选择适当的模块进行调用。

关键创新：EMS的核心创新在于其完全解耦的双系统架构和环境感知的切换策略，这与现有的层次化VLA框架有本质区别，后者通常需要端到端的联合训练。

关键设计：在设计中，采用了强化学习算法来优化切换策略，确保在运行时高效利用预训练知识，同时在系统之间实现灵活切换。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

在LIBERO基准测试中，EMS框架的成功率与大规模基线相当，但有效动作频率提升至93.4 Hz，显示出显著的性能提升。此外，在实际的双臂操作任务中，EMS加速了任务完成时间，同时保持了稳健的性能。

🎯 应用场景

该研究的潜在应用领域包括机器人控制、自动驾驶和智能家居等场景，能够显著提升系统在复杂环境中的决策能力和响应速度。未来，该框架有望推动更高效的多模态智能系统的发展。

📄 摘要（原文）

Embodied intelligence demands both long-horizon reasoning and real-time closed-loop responsiveness. Recent dual-system Vision-Language-Action (VLA) architectures combine fast reactive control with slow deliberative reasoning to balance inference speed and task success rate. However, existing dual-process VLAs tightly couple the fast module to intermediate representations of the slow module, necessitating end-to-end joint training and limiting modularity, extensibility and flexible system switching. In this paper, we propose Environment-aware Model Selection (EMS), an adaptive VLA inference framework that switches between two fully decoupled systems of different scales through environment-aware model selection. The large-scale deliberative system provides globally consistent trajectory planning to ensure task success, while a lightweight reactive system enables high-frequency closed-loop control. A reinforcement-learning-based switching policy dynamically selects which system to invoke based on real-time feedback, enabling sparse use of the slow system and thereby balancing pretrained knowledge utilisation with runtime efficiency. Our design offers three key advantages over prior hierarchical VLA frameworks: (1) a fully decoupled and modular dual-system architecture that supports plug-and-play model replacement; (2) an adaptive, environment-aware switching strategy; (3) high-frequency inference for responsive closed-loop control. We extensively evaluate EMS in both simulation and real-world environments. On the LIBERO benchmark, EMS achieves success rates comparable to the large-scale baseline while increasing the effective action frequency to 93.4 Hz. The framework further demonstrates strong extensibility in real-world dual-arm manipulation tasks, where it accelerates task completion while maintaining robust performance.