ROS2SmolVLA: Enabling Small Vision-Language-Action Models for Integration into Industrial-Grade Lightweight Robots
作者: Nils Mandischer, Noah Böckmann, Ludwig Holl, Lars Mikelsons
分类: cs.RO
发布日期: 2026-08-24
备注: Accepted at 8th International Conference on Industry of the Future and Smart Manufacturing, Padua & Venice, 2026
💡 一句话要点
提出ROS2SmolVLA以解决工业机器人适应性不足问题
🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)
关键词: 视觉-语言-动作 轻量级机器人 工业自动化 ROS 2 小型任务 开源模型 适应性生产 智能制造
📋 核心要点
- 现有的机器人自动化系统通常是静态的，难以适应快速变化的生产环境，导致效率低下。
- 本文提出将SmolVLA模型与ROS 2接口结合，以便在轻量级工业机器人上实现视觉-语言-动作的集成。
- 实验结果表明，SmolVLA在UR10e机器人上的取放任务中表现良好，适合现场计算的小型任务。
📝 摘要（中文）
随着工业需求的变化，生产模式也在不断演变。小批量和多样化产品的增加使得企业面临更大的挑战，尤其是在机器人自动化领域，传统的静态系统难以应对不断变化的生产流程。本文通过将Hugging Face的SmolVLA模型适配于轻量级的Universal Robots机器人，提出了一种新的解决方案。我们发布了开源库ROS2SmolVLA，提供了ROS 2与SmolVLA的接口，使其能够在工业级硬件上应用。通过在Universal Robots UR10e上进行的取放任务验证，结果表明SmolVLA适合于需要现场计算的小型任务。
🔬 方法详解
问题定义：本文旨在解决传统机器人自动化系统在面对小批量和多样化产品时的适应性不足问题。现有方法多依赖于大型模型，无法在现场计算，导致合规性和安全性挑战。
核心思路：我们通过适配Hugging Face的SmolVLA模型，使其能够在轻量级的Universal Robots机器人上运行，从而实现基于视觉和语言的动态机器人控制。
技术框架：整体架构包括SmolVLA模型与ROS 2的接口，主要模块包括视觉输入处理、语言理解和动作生成，确保机器人能够实时响应环境变化。
关键创新：最重要的创新在于将小型视觉-语言-动作模型与工业级硬件结合，使得机器人能够在实际应用中灵活执行任务，而不是依赖于大型、复杂的模型。
关键设计：在模型设计中，我们关注于参数的优化和损失函数的选择，以确保在资源受限的环境中仍能实现高效的计算和响应。
🖼️ 关键图片
📊 实验亮点
在UR10e机器人上进行的实验中，SmolVLA模型在取放任务中表现出色，能够实时生成动作指令，显著提高了任务执行的灵活性和效率。与传统方法相比，SmolVLA在小型任务上的计算需求大幅降低，适合现场应用。
🎯 应用场景
该研究的潜在应用领域包括智能制造、自动化仓储和灵活生产线等。通过将视觉-语言-动作模型集成到轻量级机器人中，企业能够更快速地适应市场变化，提高生产效率，降低运营成本。未来，这种技术的推广将可能改变传统工业自动化的格局。
📄 摘要（原文）
Industrial demand changes the paradigms of production. Due to smaller batch sizes and more variations in products, companies face a growing challenge to adopt more adaptive production systems. In particular, robot-based automation is usually static and fails to respond to constantly changing processes. Vision-Language-Action (VLA) Models are a promising opportunity to mitigate this challenge by generating robot actions based on the observed system state. However, current research either focuses on large models that cannot be computed on premise, creating compliance and security challenges, or use lab-grade robot hardware that obscures exploitation in real industrial settings. In this work, we adapt Hugging Face's SmolVLA for Universal Robots lightweight robots. Further, we release the open-source repository ROS2SmolVLA that implements an interface for ROS 2 to SmolVLA, and makes it applicable for industrial-grade hardware. By this, we allow a lenient adoption into lab and industrial environments. We validate the functionality of SmolVLA for a Universal Robots UR10e using a pick-and-place task and give implementation guidelines. Our findings support that SmolVLA is a well-suited option for small-sized tasks that need to be computed on premise.