Whole-Body Bilateral Teleoperation with Multi-Stage Object Parameter Estimation for Wheeled Humanoid Locomanipulation
作者: Donghoon Baek, Amartya Purushottam, Jason J. Choi, Joao Ramos
分类: cs.RO
发布日期: 2025-08-13
💡 一句话要点
提出全身双向遥操作框架以解决轮式类人机器人操控问题
🎯 匹配领域: 支柱一：机器人控制 (Robot Control)
关键词: 双向遥操作 物体参数估计 类人机器人 动态操控 视觉-语言模型
📋 核心要点
- 现有的遥操作系统在动态环境中对物体参数的估计精度不足，影响了操控的灵活性和稳定性。
- 提出的框架通过多阶段物体惯性参数估计，结合视觉信息和VLM先验，显著提高了参数估计的速度和准确性。
- 实验验证表明，该系统能够实时执行负载约为机器人自重三分之一的提升、传递和释放任务，表现出良好的动态同步能力。
📝 摘要（中文）
本文提出了一种面向物体的全身双向遥操作框架，专为轮式类人机器人进行运动操控设计。该框架结合了全身双向遥操作与在线多阶段物体惯性参数估计模块，这是本研究的核心技术贡献。多阶段过程依次整合了基于视觉的物体尺寸估计器、由大型视觉-语言模型生成的初始参数猜测以及解耦的分层采样策略。视觉尺寸估计和VLM先验为物体的惯性参数提供了强有力的初始猜测，显著减少了基于采样的细化搜索空间，提高了整体估计速度。该估计器与高保真仿真和硬件并行运行，实现实时在线更新。估计的参数用于更新轮式类人机器人的平衡点，使操作者能够更专注于运动和操控。
🔬 方法详解
问题定义：本文旨在解决轮式类人机器人在动态环境中进行操控时，物体参数估计不准确的问题。现有方法在物体动态特性变化时，难以提供可靠的实时反馈，导致操控效果不佳。
核心思路：本研究提出的框架通过整合多种信息源（视觉估计和VLM先验），采用分层采样策略来提高物体惯性参数的估计精度和速度，从而增强遥操作的灵活性。
技术框架：整体架构包括三个主要模块：1) 基于视觉的物体尺寸估计器；2) VLM生成的初始参数猜测；3) 解耦的分层采样策略。该框架实现了实时在线更新，确保了估计的准确性。
关键创新：最重要的技术创新在于多阶段物体惯性参数估计模块的设计，通过结合视觉信息和VLM先验，显著减少了参数估计的搜索空间，提高了估计速度和精度。
关键设计：在参数设置上，采用了分层策略，首先估计质量和质心，然后从物体尺寸推断惯性，确保参数的物理可行性。同时，解耦的多假设方案增强了对VLM先验错误的鲁棒性。实验中使用的损失函数和网络结构具体细节未详细披露。
📊 实验亮点
实验结果表明，系统能够实时执行负载约为机器人自重三分之一的任务，表现出良好的动态同步能力。与传统方法相比，参数估计的速度和准确性显著提升，增强了操控的灵活性和稳定性。
🎯 应用场景
该研究的潜在应用领域包括人机协作、智能制造和服务机器人等。通过提高轮式类人机器人的操控能力，该框架能够在复杂环境中实现更高效的任务执行，具有重要的实际价值和广泛的应用前景。
📄 摘要（原文）
This paper presents an object-aware whole-body bilateral teleoperation framework for wheeled humanoid loco-manipulation. This framework combines whole-body bilateral teleoperation with an online multi-stage object inertial parameter estimation module, which is the core technical contribution of this work. The multi-stage process sequentially integrates a vision-based object size estimator, an initial parameter guess generated by a large vision-language model (VLM), and a decoupled hierarchical sampling strategy. The visual size estimate and VLM prior offer a strong initial guess of the object's inertial parameters, significantly reducing the search space for sampling-based refinement and improving the overall estimation speed. A hierarchical strategy first estimates mass and center of mass, then infers inertia from object size to ensure physically feasible parameters, while a decoupled multi-hypothesis scheme enhances robustness to VLM prior errors. Our estimator operates in parallel with high-fidelity simulation and hardware, enabling real-time online updates. The estimated parameters are then used to update the wheeled humanoid's equilibrium point, allowing the operator to focus more on locomotion and manipulation. This integration improves the haptic force feedback for dynamic synchronization, enabling more dynamic whole-body teleoperation. By compensating for object dynamics using the estimated parameters, the framework also improves manipulation tracking while preserving compliant behavior. We validate the system on a customized wheeled humanoid with a robotic gripper and human-machine interface, demonstrating real-time execution of lifting, delivering, and releasing tasks with a payload weighing approximately one-third of the robot's body weight.