OptiState: State Estimation of Legged Robots using Gated Networks with Transformer-based Vision and Kalman Filtering
作者: Alexander Schperberg, Yusuke Tanaka, Saviz Mowlavi, Feng Xu, Bharathan Balaji, Dennis Hong
分类: cs.RO, cs.LG, eess.SY
发布日期: 2024-01-30 (更新: 2024-04-28)
备注: Accepted to the 2024 IEEE International Conference on Robotics and Automation (ICRA), May 13-17, in Yokohama, Japan. 7 pages, 5 figures, 1 table
🔗 代码/项目: GITHUB
💡 一句话要点
提出OptiState以解决四足机器人状态估计问题
🎯 匹配领域: 支柱一：机器人控制 (Robot Control) 支柱三：空间感知与语义 (Perception & Semantics)
关键词: 状态估计 四足机器人 卡尔曼滤波 深度学习 动态环境 传感器融合 优化控制
📋 核心要点
- 现有的状态估计方法在动态运动和传感器精度方面存在显著不足，导致估计结果不准确。
- 本文提出了一种混合方法，结合卡尔曼滤波和学习机制，利用多种传感器信息提高状态估计的准确性。
- 在硬件实验中，使用四足机器人在多种地形上测试，结果显示相较于基线方法，均方根误差降低了65%。
📝 摘要（中文）
四足机器人的状态估计面临动态运动和传感器精度限制的挑战。本文提出了一种混合解决方案，结合了卡尔曼滤波、优化和基于学习的模式，利用本体感知和外部感知信息来估计机器人的躯干状态。通过增强的卡尔曼滤波器，结合关节编码器和IMU测量，利用单刚体模型和地面反作用力控制输出，进一步通过门控递归单元（GRU）进行精细化估计，考虑了语义信息和机器人高度。该框架在硬件上进行了评估，结果显示在不同地形上相较于VIO SLAM基线，均方根误差提高了65%。
🔬 方法详解
问题定义：本文旨在解决四足机器人在动态环境中状态估计的准确性问题。现有方法在传感器精度和动态运动下表现不佳，导致估计误差较大。
核心思路：提出的解决方案通过结合卡尔曼滤波和基于学习的门控递归单元，利用本体感知和外部感知信息，增强状态估计的准确性和鲁棒性。
技术框架：整体架构包括传感器数据采集、卡尔曼滤波器的状态估计、地面反作用力控制的优化、以及通过GRU进行的深度学习估计。各模块协同工作，形成一个闭环的状态估计系统。
关键创新：最重要的技术创新在于将卡尔曼滤波与深度学习相结合，通过引入语义信息和机器人高度，显著提高了状态估计的准确性，尤其是在动态环境中。
关键设计：在设计中，采用了单刚体模型和地面反作用力控制输出，优化了卡尔曼滤波器的性能。同时，GRU网络结构被用于处理深度图像，提取语义特征以进一步提升估计精度。
🖼️ 关键图片
📊 实验亮点
实验结果显示，所提出的方法在不同地形上相较于VIO SLAM基线，均方根误差提高了65%。这一显著的性能提升证明了混合方法在动态状态估计中的有效性和优越性。
🎯 应用场景
该研究的潜在应用领域包括自主机器人导航、动态环境下的机器人控制和人机协作等。通过提高状态估计的准确性，能够显著增强机器人在复杂环境中的适应能力和操作效率，具有重要的实际价值和未来影响。
📄 摘要（原文）
State estimation for legged robots is challenging due to their highly dynamic motion and limitations imposed by sensor accuracy. By integrating Kalman filtering, optimization, and learning-based modalities, we propose a hybrid solution that combines proprioception and exteroceptive information for estimating the state of the robot's trunk. Leveraging joint encoder and IMU measurements, our Kalman filter is enhanced through a single-rigid body model that incorporates ground reaction force control outputs from convex Model Predictive Control optimization. The estimation is further refined through Gated Recurrent Units, which also considers semantic insights and robot height from a Vision Transformer autoencoder applied on depth images. This framework not only furnishes accurate robot state estimates, including uncertainty evaluations, but can minimize the nonlinear errors that arise from sensor measurements and model simplifications through learning. The proposed methodology is evaluated in hardware using a quadruped robot on various terrains, yielding a 65% improvement on the Root Mean Squared Error compared to our VIO SLAM baseline. Code example: https://github.com/AlexS28/OptiState