VBM-NET: Visual Base Pose Learning for Mobile Manipulation using Equivariant TransporterNet and GNNs

📄 arXiv: 2510.04171v1 📥 PDF

作者: Lakshadeep Naik, Adam Fischer, Daniel Duberg, Danica Kragic

分类: cs.RO

发布日期: 2025-10-05

💡 一句话要点

VBM-NET：利用等变TransporterNet和GNN学习移动操作的视觉基座位姿

🎯 匹配领域: 支柱一：机器人控制 (Robot Control) 支柱二：RL算法与架构 (RL & Architecture)

关键词: 移动操作 基座位姿规划 等变TransporterNet 图神经网络 强化学习 视觉伺服 sim-to-real

📋 核心要点

  1. 移动操作中，选择最佳移动基座位姿对于成功抓取物体至关重要，传统方法依赖精确状态信息，如物体位姿和环境模型。
  2. VBM-NET从俯视正交投影中学习基座位姿，利用等变TransporterNet学习候选位姿，并用图神经网络和强化学习选择最优位姿。
  3. 实验表明，VBM-NET在计算时间上优于经典方法，并在真实世界移动操作中成功验证了模拟到真实的迁移能力。

📝 摘要（中文）

本文研究了直接从场景的俯视正交投影中进行基座位姿规划的问题，这种投影提供了场景的全局概览并保留了空间结构。我们提出了VBM-NET，一种基于学习的方法，用于使用这种俯视正交投影选择基座位姿。我们使用等变TransporterNet来利用空间对称性，并有效地学习用于抓取的候选基座位姿。此外，我们使用图神经网络来表示不同数量的候选基座位姿，并使用强化学习来确定它们之间的最佳基座位姿。我们表明，VBM-NET可以在明显更少的计算时间内产生与经典方法相当的解决方案。此外，我们通过成功地将模拟中训练的策略部署到真实世界的移动操作中，验证了sim-to-real的迁移。

🔬 方法详解

问题定义：现有移动操作的基座位姿规划方法依赖于精确的物体位姿和环境模型，这在实际应用中难以保证。论文旨在解决从视觉输入（俯视正交投影）直接进行基座位姿规划的问题，从而减少对精确状态信息的依赖。现有方法的痛点在于对环境感知和状态估计的精度要求高，鲁棒性较差。

核心思路：论文的核心思路是利用深度学习方法，直接从场景的视觉表征（俯视正交投影）中学习基座位姿。通过等变TransporterNet学习候选位姿，利用图神经网络处理不同数量的候选位姿，并使用强化学习选择最优位姿。这种方法能够直接从视觉信息中推理，减少了对精确状态估计的依赖，提高了鲁棒性。

技术框架：VBM-NET的整体框架包含以下几个主要模块：1) 俯视正交投影生成模块：将场景转换为俯视正交投影图像；2) 等变TransporterNet：从投影图像中学习候选基座位姿，利用空间对称性提高学习效率；3) 图神经网络（GNN）：将候选基座位姿表示为图结构，每个节点代表一个候选位姿；4) 强化学习模块：使用强化学习算法（如PPO）训练策略，选择最优基座位姿。

关键创新：论文的关键创新在于：1) 使用等变TransporterNet学习候选基座位姿，利用空间对称性提高学习效率；2) 使用图神经网络处理不同数量的候选位姿，能够灵活处理复杂的场景；3) 将强化学习应用于基座位姿选择，能够学习到最优的策略。与现有方法的本质区别在于，VBM-NET直接从视觉输入中学习，减少了对精确状态信息的依赖。

关键设计：等变TransporterNet的设计利用了SE(2)群的等变性，保证了模型输出对输入图像的旋转和平移具有不变性。图神经网络使用消息传递机制，每个节点（候选位姿）接收来自相邻节点的信息，从而进行信息聚合和推理。强化学习模块使用PPO算法，奖励函数的设计考虑了抓取的成功率、移动距离等因素。

📊 实验亮点

实验结果表明，VBM-NET在计算时间上优于经典的规划方法，并且在模拟环境中训练的策略能够成功迁移到真实世界的移动操作中。具体而言，VBM-NET在基座位姿选择的计算时间上相比传统方法减少了XX%，并且在真实机器人上的抓取成功率达到了XX%。

🎯 应用场景

该研究成果可应用于各种移动操作任务，例如仓库拣选、家庭服务机器人、工业自动化等。通过视觉输入直接进行基座位姿规划，可以提高机器人在复杂环境中的适应性和鲁棒性，降低对环境感知精度的要求，具有重要的实际应用价值和广阔的未来发展前景。

📄 摘要（原文）

In Mobile Manipulation, selecting an optimal mobile base pose is essential for successful object grasping. Previous works have addressed this problem either through classical planning methods or by learning state-based policies. They assume access to reliable state information, such as the precise object poses and environment models. In this work, we study base pose planning directly from top-down orthographic projections of the scene, which provide a global overview of the scene while preserving spatial structure. We propose VBM-NET, a learning-based method for base pose selection using such top-down orthographic projections. We use equivariant TransporterNet to exploit spatial symmetries and efficiently learn candidate base poses for grasping. Further, we use graph neural networks to represent a varying number of candidate base poses and use Reinforcement Learning to determine the optimal base pose among them. We show that VBM-NET can produce comparable solutions to the classical methods in significantly less computation time. Furthermore, we validate sim-to-real transfer by successfully deploying a policy trained in simulation to real-world mobile manipulation.