Functional Force-Aware Retargeting from Virtual Human Demos to Soft Robot Policies
作者: Uksang Yoo, Mengjia Zhu, Evan Pezent, Jom Preechayasomboon, Jean Oh, Jeffrey Ichnowski, Amir Memar, Ben Abbatematteo, Homanga Bharadhwaj, Ashish Deshpande, Harsha Prahlad
分类: cs.RO
发布日期: 2026-04-01
🔗 代码/项目: PROJECT_PAGE
💡 一句话要点
SoftAct：通过力感知的重定向，实现虚拟人演示到软体机器人策略的迁移
🎯 匹配领域: 支柱一：机器人控制 (Robot Control)
关键词: 软体机器人 技能迁移 力感知 虚拟现实 接触力 重定向算法 操作技能
📋 核心要点
- 现有方法难以将人类操作技能有效迁移到软体机器人，尤其是在处理接触力方面存在不足。
- SoftAct框架通过力感知的两阶段重定向算法，将人类演示中的接触力信息映射到软体机器人。
- 实验表明，SoftAct在轨迹跟踪精度和任务成功率方面均优于传统方法，验证了力建模的重要性。
📝 摘要（中文）
本文提出SoftAct框架，通过显式地推理接触力，使软体机器人手能够执行类人的操作技能。该系统利用沉浸式虚拟现实捕获丰富的人类演示数据，包括手部运动学、物体运动、密集接触区域和详细的接触力信息。与传统的重定向人类关节轨迹的方法不同，SoftAct采用了一种两阶段的、力感知的重定向算法。第一阶段将演示的接触力分配给各个手指，并按比例分配给机器人手指，从而建立人手和机器人手之间的力平衡映射。第二阶段通过结合基线末端执行器姿态跟踪与测地线加权接触细化来进行在线重定向，利用接触几何和力的大小来实时调整机器人指尖目标。这种公式使得软体机器人手能够重现人类演示的功能意图，同时自然地适应极端的形态不匹配和非线性柔顺性。我们使用定制的非拟人化气动软体机器人手在一系列接触丰富的操作任务上评估SoftAct。与基于运动学和学习的基线相比，SoftAct的控制器将指尖轨迹跟踪的RMSE降低了高达55%，并将跟踪方差降低了高达69%。在策略层面，SoftAct在零样本真实世界部署和模拟中都实现了持续更高的成功率。这些结果表明，显式地建模接触几何和力分布对于有效地将技能转移到软体机器人手至关重要，并且不能仅通过运动学模仿来恢复。
🔬 方法详解
问题定义：现有方法在将人类操作技能迁移到软体机器人时，通常只关注运动学轨迹的模仿，忽略了接触力的重要性。这导致软体机器人在执行需要精细接触的任务时，性能往往不佳。尤其是在人手和机器人手形态差异较大时，简单的运动学重定向难以保证任务的成功。
核心思路：SoftAct的核心思路是显式地建模和利用接触力信息，通过力感知的重定向算法，将人类演示中的接触力分配到软体机器人手上。该方法认为，接触力是实现特定操作功能的重要因素，因此在技能迁移过程中必须加以考虑。
技术框架：SoftAct框架包含两个主要阶段：1) 力分配阶段：将人类演示中产生的接触力分配到各个手指，并根据手指的相对位置和任务需求，按比例分配给机器人手指，建立人手和机器人手之间的力平衡映射。2) 在线重定向阶段：结合基线末端执行器姿态跟踪和测地线加权接触细化，利用接触几何和力的大小来实时调整机器人指尖目标，从而实现对人类操作意图的精确模仿。
关键创新：SoftAct的关键创新在于其力感知的重定向算法，该算法显式地建模了接触几何和力分布，并将其用于调整机器人指尖的目标位置。与传统的运动学模仿方法相比，SoftAct能够更好地适应软体机器人的非线性柔顺性和形态差异，从而实现更有效的技能迁移。
关键设计：力分配阶段的关键在于如何合理地将人类接触力分配到机器人手指上。论文采用了一种基于手指相对位置和任务需求的比例分配方法。在线重定向阶段的关键在于如何利用接触几何和力的大小来调整机器人指尖目标。论文采用了一种测地线加权的方法，根据接触点之间的测地线距离和力的大小，对指尖目标进行细微调整。
🖼️ 关键图片
📊 实验亮点
实验结果表明，SoftAct在接触丰富的操作任务中表现出色。与基于运动学和学习的基线相比，SoftAct的控制器将指尖轨迹跟踪的RMSE降低了高达55%，并将跟踪方差降低了高达69%。在策略层面，SoftAct在零样本真实世界部署和模拟中都实现了持续更高的成功率，证明了力建模对于软体机器人技能迁移的重要性。
🎯 应用场景
SoftAct框架可应用于各种需要精细操作的软体机器人任务，例如医疗康复、食品加工、柔性装配等。通过学习人类的操作技能，软体机器人可以更好地适应复杂的工作环境，提高生产效率和安全性。该研究为软体机器人的智能化发展提供了新的思路。
📄 摘要（原文）
We introduce SoftAct, a framework for teaching soft robot hands to perform human-like manipulation skills by explicitly reasoning about contact forces. Leveraging immersive virtual reality, our system captures rich human demonstrations, including hand kinematics, object motion, dense contact patches, and detailed contact force information. Unlike conventional approaches that retarget human joint trajectories, SoftAct employs a two-stage, force-aware retargeting algorithm. The first stage attributes demonstrated contact forces to individual human fingers and allocates robot fingers proportionally, establishing a force-balanced mapping between human and robot hands. The second stage performs online retargeting by combining baseline end-effector pose tracking with geodesic-weighted contact refinements, using contact geometry and force magnitude to adjust robot fingertip targets in real time. This formulation enables soft robotic hands to reproduce the functional intent of human demonstrations while naturally accommodating extreme embodiment mismatch and nonlinear compliance. We evaluate SoftAct on a suite of contact-rich manipulation tasks using a custom non-anthropomorphic pneumatic soft robot hand. SoftAct's controller reduces fingertip trajectory tracking RMSE by up to 55 percent and reduces tracking variance by up to 69 percent compared to kinematic and learning-based baselines. At the policy level, SoftAct achieves consistently higher success in zero-shot real-world deployment and in simulation. These results demonstrate that explicitly modeling contact geometry and force distribution is essential for effective skill transfer to soft robotic hands, and cannot be recovered through kinematic imitation alone. Project videos and additional details are available at https://soft-act.github.io/.