ReContact: Reconstruct and Retarget Human Contacts from Video for Contact-Rich Humanoid Manipulation
作者: Zhongkai Gu, Yang Liu, Wei Zhu, Mitsuhiro Hayashibe
分类: cs.RO
发布日期: 2026-11-02
💡 一句话要点
提出ReContact以解决人形机器人接触重建与重定向问题
🎯 匹配领域: 支柱一：机器人控制 (Robot Control) 支柱五：交互与反应 (Interaction & Reaction)
关键词: 人形机器人 接触重建 物体操控 视频学习 运动重定向 机器人操作 接触计划
📋 核心要点
- 现有方法在处理人类视频中的遮挡时，无法有效跟踪物体姿态，导致重定向运动的准确性下降。
- 论文提出ReContact，通过物体中心的接触计划来重建和重定向人类-物体交互，解决了遮挡和接触力不足的问题。
- 在实验中，ReContact在大腿支撑的重新抓取任务中成功率达到83.5%，显著优于基线方法，且在真实机器人上执行多项复杂任务。
📝 摘要（中文）
接触过渡使人形机器人能够在全身范围内重新分配物体支撑，从而实现超越手部抓取的操作。人类视频为机器人提供了可扩展的学习来源，但身体遮挡会干扰物体姿态跟踪并损坏重定向运动。此外，准确重现物体轨迹并不能确保机器人在预定接触点施加稳定的力量，可能导致后续阶段的滑动或掉落。为了解决这些挑战，本文提出了ReContact，通过以物体为中心的接触计划重建和重定向人类-物体交互。该计划指定接触阶段、接触对、锚点、施压方向及粘附或滑动模式。接触先验通过遮挡稳定物体姿态重建。基于冻结的全身跟踪器的残差策略被奖励以在计划的锚点处施加与指定方向对齐的力量。在模拟中，ReContact在大腿支撑的重新抓取任务中实现了83.5%的成功率，而最佳适应基线仅为0.16%。在247个参考上训练的一个策略重新解决了新位置，使得工作空间内的管道转移成功率从20.4%提升至97.8%。在真实的Unitree G1上，策略执行了七个接触丰富的操作和两个运动操作任务。
🔬 方法详解
问题定义：本论文旨在解决人形机器人在进行接触丰富的操作时，因身体遮挡导致的物体姿态跟踪不准确和接触力不足的问题。现有方法在这些方面存在显著不足，无法保证机器人在操作过程中稳定地施加力量。
核心思路：ReContact的核心思路是通过物体中心的接触计划来重建和重定向人类-物体交互。该计划不仅考虑了接触阶段和接触对，还包括锚点、施压方向及接触模式，从而确保机器人在操作过程中能够有效地施加稳定的力量。
技术框架：ReContact的整体架构包括接触计划的生成、物体姿态重建和基于残差策略的接触力施加。首先，通过接触计划定义接触的各个方面，然后利用接触先验来稳定物体姿态重建，最后通过奖励机制引导机器人在预定锚点施加力量。
关键创新：ReContact的主要创新在于引入了物体中心的接触计划，能够有效解决遮挡问题并确保接触力的稳定性。这一方法与现有技术相比，显著提高了机器人在复杂操作中的表现。
关键设计：在设计中，接触计划的参数设置包括接触阶段、接触对和施压方向等，损失函数则考虑了接触力的方向性和稳定性。此外，采用了冻结的全身跟踪器来提高物体姿态重建的准确性。
🖼️ 关键图片
📊 实验亮点
实验结果显示，ReContact在大腿支撑的重新抓取任务中成功率达到83.5%，而最佳基线仅为0.16%。此外，通过在247个参考上训练的策略，工作空间内的管道转移成功率从20.4%提升至97.8%。在真实机器人Unitree G1上，成功执行了七个接触丰富的操作和两个运动操作任务，验证了其有效性。
🎯 应用场景
该研究的潜在应用领域包括人形机器人在家庭、工业和服务领域的复杂操作，如物体搬运、组装和协作任务。通过提高机器人在接触丰富环境中的操作能力，ReContact有望推动机器人技术在实际应用中的广泛采用，提升人机协作的效率与安全性。
📄 摘要（原文）
Contact transitions allow humanoid robots to redistribute object support across the whole body, enabling manipulation beyond hand-only grasps. Human videos provide a scalable source of such transitions for robots to learn from. However, body occlusion disrupts object pose tracking and corrupts retargeted motion. Moreover, accurately reproducing the object trajectory does not ensure that the robot applies stabilizing forces at the intended contacts, risking slips or drops in later phases. To address these challenges, we propose ReContact, which reconstructs and retargets human-object interactions through an object-centric contact plan. The plan specifies contact phases, contact pairs, anchors, pressing directions, and sticking or sliding modes. Contact priors stabilize object pose reconstruction through occlusion. A residual policy over a frozen whole-body tracker is rewarded for making contact at planned anchors with forces aligned to the specified directions. In simulation, on a thigh-supported regrasp task, ReContact achieves the planned two-palm bottom hold in 83.5 of episodes over three training seeds, versus 0.16% for the best adapted baseline. One policy trained on 247 references re-solved for new placements raises in-workspace tube-transfer success from 20.4% (source reference only) to 97.8%. On a real Unitree G1, policies execute seven contact-rich manipulation and two loco-manipulation tasks.