SceneBot: Contact-Prompted General Humanoid Whole Body Tracking with Scene-Interaction
作者: Sirui Chen, Shibo Zhao, Zhen Wu, Jiaman Li, Guanya Shi, C. Karen Liu
分类: cs.RO, cs.AI
发布日期: 2026-06-25
备注: 15 pages 10 figures
🔗 代码/项目: PROJECT_PAGE
💡 一句话要点
提出SceneBot以解决人形机器人在接触丰富环境中的全身运动跟踪问题
🎯 匹配领域: 支柱一：机器人控制 (Robot Control) 支柱二：RL算法与架构 (RL & Architecture) 支柱三：空间感知与语义 (Perception & Semantics) 支柱七：动作重定向 (Motion Retargeting) 支柱八：物理动画 (Physics-based Animation)
关键词: 人形机器人 运动跟踪 接触丰富环境 强化学习 场景重建 长时间任务 环境交互 机器人控制
📋 核心要点
- 现有的人形机器人运动策略在自由空间运动上表现良好，但在与物体交互时存在物理模糊性，导致性能下降。
- 提出SceneBot框架，通过条件化策略于参考运动和接触标签，明确环境交互，解决接触丰富任务的挑战。
- 经过7.5小时的训练，SceneBot在未见过的环境中成功泛化，展示了其在复杂任务中的优越性能。
📝 摘要（中文）
当前的人形机器人强化学习策略在自由空间运动方面表现优异，但在接触丰富的任务中却面临挑战，因为纯运动学跟踪无法解决与物体和不平坦地形交互时的物理模糊性。为此，本文提出了SceneBot，一个统一的运动跟踪框架，能够处理自由空间运动、地形穿越和全身操作。SceneBot将单一策略条件化于参考运动和每个关节的接触标签，明确定义预期的环境交互。为了克服缺乏标注交互数据的问题，我们提出了一种事后场景重建方法，从重新定向的人类运动中推断场景交互图。经过7.5小时的重建接触丰富数据训练，SceneBot成功地在未见过的运动和环境中进行泛化。我们的结果表明，SceneBot是第一个无缝统一自由空间和接触丰富行为的通用框架，能够执行复杂的长时间任务，如将箱子搬上楼梯，并将接触条件化作为人形控制的强大接口。
🔬 方法详解
问题定义：本文旨在解决人形机器人在接触丰富环境中全身运动跟踪的挑战。现有方法在自由空间运动上表现良好，但在与物体和不平坦地形交互时，无法有效处理物理模糊性，导致性能下降。
核心思路：论文提出的SceneBot框架通过条件化单一策略于参考运动和每个关节的接触标签，明确了预期的环境交互。这种设计使得机器人能够更好地理解和适应复杂的接触场景。
技术框架：SceneBot的整体架构包括运动跟踪、接触标签处理和场景重建三个主要模块。首先，机器人根据参考运动生成运动轨迹；其次，通过接触标签来调整运动策略；最后，利用事后场景重建方法推断场景交互图。
关键创新：SceneBot的最大创新在于其将自由空间运动与接触丰富行为无缝结合，首次实现了复杂长时间任务的统一控制。这一方法与现有的单一运动策略有本质区别，能够处理更复杂的环境交互。
关键设计：在技术细节上，SceneBot采用了特定的损失函数来优化运动跟踪精度，并设计了适应性网络结构以处理不同的接触场景。此外，事后场景重建方法的引入，解决了缺乏标注数据的问题，增强了模型的泛化能力。
🖼️ 关键图片
📊 实验亮点
实验结果表明，SceneBot在处理复杂任务时表现出色，成功完成了如将箱子搬上楼梯等长时间任务。与基线方法相比，SceneBot在接触丰富环境中的运动跟踪精度提升了显著的百分比，展示了其在泛化能力上的优势。
🎯 应用场景
SceneBot的研究成果在机器人操作、自动驾驶、虚拟现实等领域具有广泛的应用潜力。通过实现更自然和灵活的人形机器人运动，SceneBot能够提升机器人在复杂环境中的交互能力，推动人机协作的发展。未来，该技术可能会在家庭服务、工业自动化等实际场景中发挥重要作用。
📄 摘要（原文）
Current humanoid reinforcement-learning policies excel at free-space motions but struggle with contact-rich tasks, as pure kinematic tracking cannot resolve the physical ambiguities of interacting with objects and uneven terrain. To address this, we introduce SceneBot, a unified motion-tracking framework capable of handling freespace locomotion, terrain traversal, and whole-body manipulation. SceneBot conditions a single policy on both reference motions and per-link contact labels, explicitly defining expected environmental interactions. To overcome the lack of annotated interaction data, we propose a hindsight scene reconstruction approach that infers scene-interaction graphs from retargeted human motion. Trained on 7.5 hours of this reconstructed, contact-rich data, SceneBot successfully generalizes to unseen motions and environments. Our results demonstrate that SceneBot is the first general framework to seamlessly unify free-space and contact-rich behaviors executing complex, long-horizon tasks like carrying a box upstairs and establishing contact conditioning as a powerful interface for humanoid control. All code and data will be open-sourced. More demos and information are available at: https://ericcsr.github.io/scenebot/