Learning Panorama-Aware VLA for Mobile Manipulation with Whole-Body Teleoperation

📄 arXiv: 2608.02257v1 📥 PDF

作者: Donglin Yang, Haoran Chen, Xingyu Chen, Lixing Liu, Manyi Li, Changhe Tu, Ke Xu, Xiaojian Ma, Si Liu

分类: cs.RO

发布日期: 2026-08-03

备注: 8 pages, 4 figures

💡 一句话要点

提出全景感知VLA以解决移动操控中的视觉局限问题

🎯 匹配领域: 支柱一：机器人控制 (Robot Control) 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 移动操控 视觉-语言-动作 全景感知 多模态融合 机器人技术

📋 核心要点

  1. 现有的视觉-语言-动作（VLA）模型主要依赖局部观察，导致空间理解能力不足，限制了移动操控的有效性。
  2. 本文提出了一种全景感知的VLA策略PanoVLA，通过全景编码和融合模块，增强了全球空间上下文的理解。
  3. 实验结果显示，PanoVLA在移动操控任务中的表现优异，平均阶段完成率达到91.3%，显著提升了操控性能。

📝 摘要（中文）

移动操控是具身智能的关键能力，使机器人能够在开放环境中完成复杂的多阶段任务。然而，移动操控面临两个主要挑战：在数据层面，高质量全身演示的高效收集需要移动底盘和机械臂的协调控制；在模型层面，现有的视觉-语言-动作（VLA）模型主要依赖局部相机观察，有限的视野阻碍了全球空间理解。为了解决这些挑战，本文开发了一个全身遥操作系统和全景感知的VLA策略，支持通过单一虚拟现实界面对双臂机器人进行协调控制，并获取了包含5.5小时多模态演示的真实世界移动操控数据集。基于该数据集，提出了PanoVLA，一个全景感知的视觉-语言-动作策略，利用混合变换器架构引入全球空间上下文，通过专门的全景编码和融合模块，有效整合全景观察、语言指令和机器人状态以生成动作。实验结果表明，PanoVLA在四个真实世界移动操控任务中的平均阶段完成率为91.3%，端到端成功率为73.4%，显著优于局部视图基线。

🔬 方法详解

问题定义：本文旨在解决移动操控中视觉局限性的问题，现有方法在空间理解和全身协调控制方面存在不足。

核心思路：提出全景感知的视觉-语言-动作（VLA）策略PanoVLA，利用全景观察增强空间上下文理解，从而提高移动操控的效果。

技术框架：整体架构包括全身遥操作系统和PanoVLA策略，主要模块包括全景编码模块、语言指令处理模块和动作生成模块，支持多模态数据的整合与处理。

关键创新：PanoVLA通过专门的全景编码和融合模块引入全球空间上下文，这是与现有局部视图模型的本质区别，显著提升了空间理解能力。

关键设计：在网络结构上采用混合变换器架构，设计了适应全景数据的损失函数和参数设置，以确保模型在多模态输入下的有效训练与优化。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果显示，PanoVLA在四个真实世界移动操控任务中的平均阶段完成率为91.3%，端到端成功率达到73.4%。这些结果显著优于现有的局部视图基线，证明了全景空间上下文的引入对提升操控性能的重要性。

🎯 应用场景

该研究的潜在应用领域包括智能家居、服务机器人和工业自动化等场景，能够显著提升机器人在复杂环境中的操作能力和灵活性。未来，随着技术的进步，PanoVLA有望在更广泛的机器人应用中发挥重要作用，推动智能机器人向更高层次的发展。

📄 摘要（原文）

Mobile manipulation is a key capability for embodied intelligence, enabling robots to accomplish complex multi-stage tasks in open-world environments. However, mobile manipulation poses two key challenges for vision-language-action (VLA) policies: At the data level, the efficient collection of high-quality whole-body demonstrations demands the coordinated control of both the mobile base and the robotic arms; at the model level, existing VLA models predominantly rely on local camera observations, whose limited field of view hinders global spatial understanding. To address these challenges, we develop a whole-body teleoperation system and a panoramic-aware VLA policy. The system enables coordinated control of a wheeled bimanual robot through a single VR interface and supports the acquisition of a real-world mobile manipulation dataset comprising 5.5 hours of multimodal demonstrations. Building upon this dataset, we propose PanoVLA, a panorama-aware vision-language-action policy for mobile bimanual manipulation. Built upon a Mixture-of-Transformers architecture, PanoVLA introduces global spatial context through dedicated panorama encoding and fusion modules, enabling effective integration of panoramic observations with language instructions and robot states for action generation. Evaluation on four real-world mobile manipulation tasks demonstrates that PanoVLA achieves an average stage completion rate of 91.3\% and an end-to-end success rate of 73.4\%, substantially outperforming local-view baselines. These results demonstrate that incorporating panoramic spatial context improves spatial understanding and closed-loop manipulation performance in mobile robots.