ReGATE: Recurrent Gated Visual Fusion for Reactive Humanoid-Object Interaction
作者: Hao Zhu, Jorge Peña-Queralta
分类: cs.RO
发布日期: 2026-11-02
💡 一句话要点
提出ReGATE以解决人形机器人在视觉中断下的物体交互问题
🎯 匹配领域: 支柱一：机器人控制 (Robot Control) 支柱二：RL算法与架构 (RL & Architecture) 支柱六：视频提取与匹配 (Video Extraction) 支柱九：具身大模型 (Embodied Foundation Models)
关键词: 人形机器人 物体交互 递归适配器 深度感知 身体感知 视觉中断 动态环境 成功率提升
📋 核心要点
- 现有方法在动态环境中进行人形机器人物体交互时，往往面临视觉信息不完整和感知协调不足的挑战。
- ReGATE通过递归适配器整合深度感知和身体感知，能够在视觉中断的情况下有效预测物体接触和几何形状。
- 在实验中，ReGATE在静态和动态物体获取任务中表现优异，成功率显著高于现有方法，验证了其有效性。
📝 摘要（中文）
人形机器人在进行物体获取、运输和释放时，需要协调自身的感知能力并响应用户指令以及不完整的视觉信息。本文提出了ReGATE，一个整合自我中心深度感知、身体感知和在线运动指令的全身控制器。ReGATE基于教师-学生框架，通过递归适配器实现交互状态估计，能够在没有外部物体姿态估计器的情况下预测物体几何形状和物理接触。通过头部和全局门控调节视觉更新到身体感知通路，结合视觉基础和腐蚀课程训练适配器，同时相位感知初始化提高了短暂接触过渡的覆盖率。在模拟实验中，ReGATE在330次静态物体获取试验中成功率达到85.2%，而同样协议下的VisualMimic仅为48.5%。
🔬 方法详解
问题定义：本研究旨在解决人形机器人在进行物体交互时，因视觉信息中断而导致的感知和控制协调不足的问题。现有方法在动态环境中难以有效处理物体的几何和接触信息，影响了任务的成功率。
核心思路：ReGATE的核心思路是通过递归适配器整合自我中心深度感知和身体感知，实时估计交互状态，从而在缺乏外部物体姿态信息的情况下，准确预测物体的几何形状和接触状态。
技术框架：ReGATE采用教师-学生框架，包含多个模块：递归适配器用于状态估计，头部和全局门控用于调节视觉信息更新，视觉基础和腐蚀课程用于训练适配器，此外相位感知初始化模块提高了短暂接触的覆盖率。
关键创新：ReGATE的主要创新在于将递归门控融合技术从感知运动扩展到人形机器人物体交互，首次实现了在视觉中断情况下的有效物体交互。
关键设计：在设计中，采用了特定的损失函数来优化状态估计，网络结构中包含递归单元以增强时间序列数据处理能力，同时通过门控机制调节信息流动，确保系统在动态环境中的适应性。
🖼️ 关键图片
📊 实验亮点
在实验中，ReGATE在330次静态物体获取试验中成功率达到85.2%，而同样条件下的VisualMimic仅为48.5%。在440次动态物体获取试验中，ReGATE的成功率为85.9%。这些结果表明，ReGATE在物体交互任务中的表现显著优于现有方法。
🎯 应用场景
该研究的潜在应用领域包括人形机器人在家庭、仓储和服务行业中的物体交互任务。通过提高机器人在视觉中断情况下的操作能力，ReGATE能够显著提升机器人在复杂环境中的实用性和灵活性，未来可能推动人形机器人在更多实际场景中的应用。
📄 摘要（原文）
Humanoid loco-manipulation requires coordinating object acquisition, transport, and release from onboard sensing while responding to user commands and incomplete visual observations. We present ReGATE, a whole-body controller that combines egocentric depth, proprioception, and online locomotion and contact commands. Built on a teacher-student framework, ReGATE integrates interaction-state estimation through a recurrent adapter that predicts object geometry and physical contact without an external object-pose estimator. Head-wise and global gates regulate visual updates to a proprioceptive pathway. A visual-grounding and corruption curriculum trains the adapter, while phase-aware initialization increases coverage of brief contact transitions. In simulation, ReGATE achieves 85.2% success across 330 static-object acquisition trials, compared with 48.5% for VisualMimic under the same protocol, and 85.9% across 440 moving-object acquisition trials. Deployment on a Unitree G1 demonstrates commanded grasp-transport-release sequences and acquisition of laterally displaced boxes. A qualitative hardware experiment further demonstrates successful box acquisition when the camera is occluded after an initial observation and before the contact command. To the best of our knowledge, this is the first work to extend recurrent gated fusion of onboard depth and proprioception from perceptive locomotion to humanoid loco-manipulation under interrupted visual sensing.