Non-Prehensile Throwing: A Reinforcement Learning Perspective
作者: Abdullah Mustafa, Ryo Hanai, Ixchel G. Ramirez-Alpizar, Floris Erich, Ryoichi Nakajo, Yukiyasu Domae, Tetsuya Ogata
分类: cs.RO
发布日期: 2026-09-01
备注: 8 pages, 9 figures, Accepted to IEEE IROS 2026
💡 一句话要点
提出强化学习方法以解决非抓取投掷问题
🎯 匹配领域: 支柱一：机器人控制 (Robot Control) 支柱二：RL算法与架构 (RL & Architecture)
关键词: 机器人投掷 强化学习 非抓取操作 动态摩擦 轨迹优化 物体运输 机器人控制
📋 核心要点
- 现有的投掷方法依赖于简化的模型，限制了非抓取物体的投掷效果和可达性。
- 本文提出了一种基于强化学习的投掷方法，直接优化关节空间轨迹，利用滑动和滚动接触模式。
- 在模拟实验中，所提方法在数千种配置下实现了99%的成功率，并在真实环境中表现出97%的成功率。
📝 摘要（中文）
机器人投掷技术能够快速运输物体，并扩展机器人的可达工作空间。尽管基于抓取的投掷适用于可抓取物品，但非抓取投掷更适合大型、重型或可变形物体。现有方法依赖于简化的接触模型和低维轨迹参数化，限制了解决方案的质量和可达工作空间。本文提出了一种强化学习方法，利用滑动和滚动接触模式，直接优化关节空间轨迹，避免了分析接触模型或自定义参数化。通过最小化机器人动力学差距和训练不确定性感知策略，本文在模拟中实现了99%的成功率，并在真实环境中达到97%的成功率。
🔬 方法详解
问题定义：本文旨在解决非抓取投掷的优化问题，现有方法依赖于简化的接触模型和低维轨迹参数化，导致解决方案质量和可达工作空间受限。
核心思路：本文提出的强化学习方法通过直接优化关节空间轨迹，利用滑动和滚动接触模式，避免了传统方法中的分析接触模型和自定义参数化，从而提升了投掷性能。
技术框架：整体架构包括将马尔可夫决策过程（MDP）建模为动态系统，离线规划关节加速度轨迹，并将其上采样为平滑的高频率速度命令。关键模块包括状态建模、轨迹优化和不确定性感知策略训练。
关键创新：最重要的创新在于直接优化关节空间轨迹，并引入滑动和滚动接触模式，这与现有依赖于简化模型的投掷方法有本质区别。
关键设计：在设计中，采用了最小加速度系统识别方法来缩小机器人动力学差距，并训练了不确定性感知策略以减轻物体建模误差，特别是对动态摩擦的敏感性。
🖼️ 关键图片
📊 实验亮点
在模拟实验中，所提强化学习策略在数千种配置下实现了99%的成功率，并在真实环境中成功投掷多种物体，达到97%的成功率，显示出其在动态摩擦敏感性方面的鲁棒性。
🎯 应用场景
该研究的潜在应用领域包括物流、制造业和服务机器人等场景，能够提升机器人在复杂环境中的物体投掷和运输能力，具有重要的实际价值和未来影响。
📄 摘要（原文）
Robotic throwing enables fast object transport and extends a robot's reachable workspace beyond traditional pick-and-place. While prehensile (grasp-based) throwing works well for graspable items, non-prehensile (grasp-free) throwing is better suited for large, heavy, and/or deformable objects. Existing approaches rely on model-based optimization with simplified contact models (e.g., dynamic grasping) and low-dimensional trajectory parameterizations, which limit solution quality and reachable workspace. We propose a reinforcement learning approach that additionally leverages sliding and rolling contact modes and directly optimizes joint-space trajectories without analytical contact models or custom parameterizations. The Markov Decision Process (MDP) is formulated as a dynamical system that evolves the robot's joint state conditioned on the throwing target, object model, and initial configuration. Joint-jerk trajectories are planned offline at a low control rate and upsampled into smooth, high-rate velocity commands for deployment. For sim-to-real transfer, we minimize the robot-dynamics gap through minimum-jerk system identification and train uncertainty-aware policies to mitigate object-modeling errors, particularly sensitivity to dynamic friction. In simulation, the policy achieves 99% success across thousands of configurations and generalizes to unseen objects. Sensitivity analysis shows robustness to mass uncertainty but high sensitivity to dynamic friction, consistent with the sliding-based release mechanism. Deployed zero-shot on a UR5e operating near its physical limits (5 m/s end-effector velocity), our method throws diverse objects including heavy (790 g) and large (20x20x28 cm) items to targets up to 350 cm distance or 180 cm elevation, achieving a 97% real-world success rate.