PRISM: Projection-Integrated Sampling-Based MPC with Bayesian Cost Tuning for Bimanual Manipulation
作者: Alinjar Dan, Iryna Hurova, Karl Kruusamäe, Arun Kumar Singh
分类: cs.RO
发布日期: 2026-08-26
💡 一句话要点
提出PRISM框架以解决双臂操控中的运动协调问题
🎯 匹配领域: 支柱一：机器人控制 (Robot Control) 支柱二：RL算法与架构 (RL & Architecture) 支柱四：生成式动作 (Generative Motion) 支柱七：动作重定向 (Motion Retargeting) 支柱八：物理动画 (Physics-based Animation)
关键词: 双臂操控 模型预测控制 运动学约束 贝叶斯优化 物理模拟
📋 核心要点
- 双臂操控在复杂环境中面临运动协调和执行可靠性不足的挑战。
- PRISM框架通过QP引导的控制采样策略实现轨迹探索与运动学可行性的解耦。
- 在PerAct²任务中，PRISM展现出比基线方法更高的鲁棒性和任务成功率。
📝 摘要（中文）
双臂操控在复杂和接触丰富的环境中仍然面临挑战，因为它需要协调的运动生成、交互感知规划和在严格的运动学约束下的可靠执行。我们提出了PRISM，一个基于投影的采样模型预测控制（MPC）框架，利用GPU加速的物理模拟器作为复杂双臂操控的在线世界模型。主要的算法贡献是一个QP引导的控制采样策略，它将轨迹探索与运动学可行性解耦。在每个MPC步骤中，采样的关节速度轨迹被投影到满足关节位置、速度、加速度和抖动界限的运动集合上，从而实现协调的双臂行为的广泛而可行的探索。我们在PerAct²任务的挑战性变体上评估了PRISM，实验表明相较于代表性的基于采样的基线，PRISM在鲁棒性和任务成功率上有所提升，同时保持实时或近实时的执行。
🔬 方法详解
问题定义：本论文旨在解决双臂操控在复杂和接触丰富环境中的运动协调问题。现有方法在运动生成和执行的可靠性上存在不足，难以满足严格的运动学约束。
核心思路：PRISM框架的核心思想是通过QP引导的控制采样策略，将轨迹探索与运动学可行性解耦，从而实现更广泛的协调双臂行为探索。这种设计使得在复杂环境中生成可行的运动轨迹成为可能。
技术框架：PRISM的整体架构包括几个主要模块：首先，使用GPU加速的物理模拟器作为在线世界模型；其次，在每个MPC步骤中，采样的关节速度轨迹被投影到满足运动学约束的运动集合上；最后，使用自定义的ADMM/Bregman分裂QP求解器来支持高效的在线执行。
关键创新：PRISM的主要创新在于其QP引导的控制采样策略和自定义的QP求解器，这些技术使得轨迹探索与运动学约束的解耦成为可能，显著提高了双臂操控的鲁棒性和效率。
关键设计：在设计中，PRISM采用了关节-wise的可分离性和可重用的矩阵分解技术，以提高QP求解的效率。同时，使用贝叶斯优化来离线调优任务成本权重，减少了手动参数选择的需求。
🖼️ 关键图片
📊 实验亮点
在PerAct²任务的评估中，PRISM相较于基线方法展现出更高的鲁棒性和任务成功率，具体表现为在障碍物约束的球体运输、托盘运输、立方体交接和箱子提升等任务中均取得了显著的性能提升，且保持实时或近实时的执行能力。
🎯 应用场景
该研究的潜在应用领域包括工业机器人、服务机器人以及任何需要双臂协调操作的自动化系统。通过提高双臂操控的鲁棒性和效率，PRISM框架能够在复杂环境中实现更高效的任务执行，具有重要的实际价值和广泛的应用前景。
📄 摘要（原文）
Bimanual manipulation in cluttered, contact-rich environments remains challenging because it requires coordinated motion generation, interaction-aware planning, and reliable execution under tight kinematic constraints. We present PRISM, a projection-integrated sampling-based Model Predictive Control (MPC) framework that uses a GPU-accelerated physics simulator as an online world model for complex dual-arm manipulation. The main algorithmic contribution is a QP-guided control sampling strategy that decouples trajectory exploration from kinematic feasibility. At each MPC step, sampled joint-velocity trajectories are projected onto the set of motions satisfying joint position, velocity, acceleration, and jerk bounds, together with an initial-velocity boundary condition, before rollout evaluation. This enables broad yet feasible exploration of coordinated bimanual behaviors. To support efficient online execution, we derive a custom ADMM/Bregman-splitting QP solver that exploits joint-wise separability and reusable matrix factorizations. We further use Bayesian optimization to tune task-cost weights offline, reducing manual parameter selection. We evaluate PRISM on challenging variants of PerAct$^{2}$ tasks, including obstacle-constrained ball transport, tray transport, cube handover, and box lifting. Experiments show improved robustness and task success relative to representative sampling-based baselines, while maintaining real-time or near-real-time execution. We also demonstrate successful sim-to-real transfer on dual UR5e manipulators, highlighting the practical potential of physics-based online planning for contact-rich bimanual manipulation. Project details, including code and supplementary videos, are available at \href{https://sites.google.com/view/prismbimanual}{\texttt{https://sites.google.com/view/prismbimanual}}.