PolicyIK: High-Precision Inverse Kinematics for Robot Arms with Reinforcement Learning

📄 arXiv: 2611.05372v1 📥 PDF

作者: Yuhan Liu, Xinqi Liu, Zixuan Dong, Keith W. Ross, Shenji Wan

分类: cs.RO, cs.LG

发布日期: 2026-11-03

🔗 代码/项目: GITHUB

💡 一句话要点

提出PolicyIK以解决机器人臂高精度逆向运动学问题

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture) 支柱七：动作重定向 (Motion Retargeting) 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 逆向运动学 强化学习 机器人控制 高精度 视觉-语言-动作

📋 核心要点

  1. 现有的逆向运动学方法在处理冗余和奇异性时复杂，且依赖于手动调优的控制器，导致高精度实现困难。
  2. 本文提出PolicyIK，通过强化学习实现高精度逆向运动学，利用姿态反馈更新关节位置参考，保持静止时的偏移。
  3. 在实验中，PolicyIK在93.5%的任务中将误差控制在1毫米以内，并在物理臂上表现优于传统IK控制器。

📝 摘要（中文）

逆向运动学（IK）将末端执行器的姿态命令转换为关节运动，许多视觉-语言-动作（VLA）策略依赖于此进行操作。高精度IK仍然面临挑战：冗余和奇异性使逆向映射复杂，执行依赖于手动调优的控制器，且在物理机器人上收集训练数据成本高昂。本文提出了PolicyIK，一种基于目标条件的强化学习策略，旨在实现高精度IK。该方法通过姿态反馈更新关节位置参考，并观察其相对于测量关节的累积参考，以保持位置控制器在静止时所需的偏移。实验结果表明，PolicyIK在模拟环境中能在93.5%的任务中将最终一秒的平均误差控制在1毫米和0.2度以内，并在物理臂上训练时超越了四种经典IK控制器的表现。

🔬 方法详解

问题定义：本文要解决的问题是如何在机器人臂的逆向运动学中实现高精度控制。现有方法在处理冗余和奇异性时复杂，且通常依赖于手动调优的控制器，导致高精度实现困难。

核心思路：论文的核心思路是通过目标条件的强化学习策略来实现高精度的逆向运动学。该方法利用姿态反馈来更新关节位置参考，并观察相对于测量关节的累积参考，以保持位置控制器在静止时所需的偏移。

技术框架：整体架构包括一个强化学习框架，主要模块包括目标条件输入、姿态反馈处理和关节位置参考更新。该框架通过两级姿态误差和误差依赖的动作增益来优化控制策略。

关键创新：最重要的技术创新点在于引入了基于强化学习的策略来处理逆向运动学问题，特别是在高精度和大动作范围之间的平衡。与现有方法相比，PolicyIK能够在保持大动作的同时解决毫米级的残余误差。

关键设计：关键设计包括使用两级姿态误差来调整动作增益，确保在大动作时保持精度。此外，Progress和Dwell奖励机制被引入，以引导学习过程，使其既能达到容忍度又能保持在容忍范围内。实验中，使用PPO策略进行训练，确保在物理臂上也能实现高效控制。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果显示，经过训练的PPO策略在93.5%的任务中将最后一秒的平均误差控制在1毫米和0.2度以内，且在物理臂上训练时，PolicyIK的成功率高于所有四种经典IK控制器，显示出显著的性能提升。

🎯 应用场景

该研究的潜在应用领域包括工业机器人、服务机器人及医疗机器人等需要高精度控制的场景。PolicyIK的高效性和精确性使其在复杂任务中具有实际价值，未来可能推动机器人技术在更广泛领域的应用。

📄 摘要（原文）

Inverse kinematics (IK) converts end-effector pose commands into joint motion, and many vision-language-action (VLA) policies rely on it to act on a given arm and to transfer across embodiments. Precise IK remains laborious: redundancy and singularities complicate the inverse mapping, execution depends on hand-tuned controllers, and training data on physical robots are costly to collect. We present PolicyIK, a goal-conditioned reinforcement learning policy for high-precision IK. It updates joint-position references from pose feedback and observes its accumulated reference relative to the measured joints, so it can retain the offset that the position controller needs at rest. Two-scale pose errors with an error-dependent action gain resolve millimeter residuals while preserving large motions. Progress and dwell rewards teach it to both reach the tolerance and stay within it. In simulation, a single attempt by the trained PPO policy keeps the mean errors over the final second within 1 mm and 0.2° on 93.5% of held-out tasks, and a deployment protocol raises success to 98.9%. When trained directly on a physical arm with an off-policy RL learner, PolicyIK achieves higher reaching and holding success than all four classical IK controllers under the same time budgets. In simulated pick-and-place, PolicyIK executes the end-effector commands of the $π_{0.5}$ VLA policy with 95.7% success. These results show that reinforcement learning can provide high-precision inverse kinematics for robot arms. Code is available at https://github.com/Tinaliu0123/PolicyIK.