Learning Motion Feasibility from Point Clouds in Cluttered Environments

📄 arXiv: 2606.26700v1 📥 PDF

作者: Sajid Ansari, Arthi, Girish Varma, Antony Thomas

分类: cs.RO, cs.AI

发布日期: 2026-06-25

💡 一句话要点

提出从点云学习运动可行性以解决复杂环境中的规划问题

🎯 匹配领域: 支柱一：机器人控制 (Robot Control) 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 运动可行性 点云学习 机器人规划 RGB-D观测 复杂环境 深度学习 变换器架构

📋 核心要点

  1. 现有基于采样的运动规划方法在复杂环境中面临高计算成本和低维配置空间的局限性。
  2. 本文提出从原始RGB-D观测中直接学习运动可行性预测，针对7自由度机械臂在真实场景中的应用。
  3. 实验结果表明，GRASPFC-PTX模型在新物体上的AUROC达到0.996，且预测速度显著优于传统方法。

📝 摘要（中文）

运动可行性预测在机器人领域中扮演着重要角色，尤其是在任务和运动规划及操作中。然而，现有的基于采样的运动规划方法在复杂环境中的不可行性规划尝试会导致显著的计算成本。本文研究了直接从原始RGB-D观测中学习运动可行性预测的问题，针对7自由度机械臂在真实复杂场景中的应用，提出了首个大规模基准，包含270万次抓取可行性标签，涵盖88个扫描物体和190个杂乱的桌面场景。我们对三种代表性分类器进行了基准测试，结果显示，最佳模型GRASPFC-PTX（点云变换器）在新物体上的AUROC达到了0.996，并且预测速度显著快于传统的基于采样的运动规划方法。

🔬 方法详解

问题定义：本文旨在解决在复杂环境中运动可行性预测的挑战，现有方法在高维配置空间中表现不佳，且通常依赖于简化的几何模型。

核心思路：通过直接从RGB-D数据中学习运动可行性，避免了对环境几何特征的过度简化，从而提高了预测的准确性和适用性。

技术框架：研究中构建了一个包含270万抓取可行性标签的大规模数据集，并对三种分类器（MLP、体积CNN和点云变换器）进行了比较，最终选择了性能最佳的点云变换器GRASPFC-PTX。

关键创新：首次在真实复杂场景中实现了从原始观测中学习运动可行性，显著提高了预测的准确性和速度，突破了传统方法的局限。

关键设计：模型采用了先进的点云变换器架构，优化了损失函数和网络结构，以适应高维数据的处理需求，同时确保了快速的推理速度。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果显示，GRASPFC-PTX模型在新物体上的AUROC达到了0.996，远超其他基线模型，并且在预测速度上显著快于传统的基于采样的运动规划方法，展示了其在实际应用中的巨大潜力。

🎯 应用场景

该研究的潜在应用领域包括机器人抓取、自动化仓储和服务机器人等。通过提高运动可行性预测的准确性和速度，能够显著提升机器人在复杂环境中的操作效率和安全性，推动智能机器人技术的实际应用和发展。

📄 摘要（原文）

Motion feasibility prediction plays a central role in robotics, particularly in task and motion planning and manipulation. A major bottleneck for this problem in cluttered environments is that infeasible planning attempts by Sampling-based motion planners (SBMPs) can incur substantial computational cost. Also existing approaches for infeasibility certification are limited to low-dimensional configuration spaces and often assume simplified geometric environments represented by primitive objects with known parameters. We study the complementary problem of learning motion feasibility prediction directly from raw RGB-D observations for a 7-DOF manipulator operating in realistic cluttered scenes. We introduce the first large-scale benchmark for this setting, comprising 2.7M grasp feasibility labels over 88 scanned objects and 190 cluttered tabletop scenes. We benchmark three representative classifier families spanning MLP- based, volumetric-CNN, and point-cloud-based Transformer architectures under matched training conditions. Our best model, GRASPFC-PTX (a point-cloud transformer), achieves an AUROC of 0.996 on Novel objects while providing predictions significantly faster than SBMPs.