IMU-Free Body-Frame State Estimation with Sparse Scene Flow for Quadcopters
作者: Daniel Grønhaug, Sofie Markeset, Mathias Kolberg
分类: cs.RO, cs.CV
发布日期: 2026-08-21
备注: 56 pages, 5 figures, 2 tables. Evaluated on the VID dataset (arXiv:2103.11152)
💡 一句话要点
提出无IMU的四旋翼机体态估计方法以解决定位依赖问题
🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture) 支柱三：空间感知与语义 (Perception & Semantics) 支柱九：具身大模型 (Embodied Foundation Models)
关键词: 四旋翼 状态估计 视觉导航 扩展卡尔曼滤波 稀疏点云 无IMU 动态环境 机器人定位
📋 核心要点
- 现有的四旋翼定位方法通常依赖于IMU等惯性传感器，导致系统在某些环境下的可靠性降低。
- 本研究提出了一种无IMU的视觉状态估计方法，利用立体相机和扩展卡尔曼滤波器在机体坐标系中进行估计。
- 实验结果表明，该方法在动态环境中表现出色，能够有效生成稀疏的3D点云，提升了定位精度。
📝 摘要（中文）
本文提出了一种仅依赖视觉的状态估计系统，适用于不配备惯性传感器的X型四旋翼机。该系统完全在机体坐标系中运行，仅需同步的立体图像和电机推力命令。通过在复合流形状态下使用连续离散扩展卡尔曼滤波器，系统能够估计机体姿态、速度、角速度、重力及干扰，利用静态场景点作为隐式惯性参考。特征点通过FAST和Shi-Tomasi检测，使用SSD和Lucas-Kanade进行时间跟踪，并通过归一化互相关在相机间进行匹配。系统还生成稀疏的3D点云，包含每个点的位置、速度和联合协方差，最终输出机体状态估计、校准的姿态变化和稀疏场景流。
🔬 方法详解
问题定义：本文旨在解决传统四旋翼定位方法对惯性传感器的依赖问题，尤其是在GPS信号弱或不可用的环境中，现有方法的可靠性受到影响。
核心思路：提出了一种基于视觉的状态估计系统，完全在机体坐标系中运行，利用同步的立体图像和电机推力命令进行状态估计，避免了对IMU的依赖。
技术框架：系统采用连续离散扩展卡尔曼滤波器，维护机体姿态、速度、角速度、重力和干扰的估计。特征点通过FAST和Shi-Tomasi检测，使用SSD和Lucas-Kanade进行时间跟踪，并通过归一化互相关在相机间进行匹配。
关键创新：最重要的创新在于使用静态场景点作为隐式惯性参考，结合稀疏3D点云生成和时序匹配，显著提高了在无IMU情况下的定位精度。
关键设计：系统通过卡尔曼滤波器的归一化创新进行卡尔曼门控，仅允许静态点进入滤波器，点云密度根据外部关注点进行空间自适应分配，确保在关注区域内的密集覆盖。
🖼️ 关键图片
📊 实验亮点
实验结果显示，该方法在动态环境中能够有效生成稀疏的3D点云，并在定位精度上相较于传统IMU依赖方法有显著提升，具体性能数据未提供，但表明在特定条件下表现优异。
🎯 应用场景
该研究的潜在应用领域包括无人机自主导航、室内外环境的实时定位与地图构建，以及在GPS信号不稳定的情况下的机器人定位。其无IMU的设计使得系统在成本和复杂性上具有优势，未来可与其他传感器集成以增强功能。
📄 摘要（原文）
We present a vision-only state estimation system for X-configuration quadcopters equipped with a canonical stereo camera pair and no inertial sensors. The system operates entirely in the body frame, requiring only synchronised stereo images and motor thrust commands. A continuous-discrete extended Kalman filter on a composite manifold state $\langle SE(3), \mathbb{R}^3, \ldots \rangle$ maintains estimates of body-frame pose, velocity, angular velocity, gravity, and disturbances, using stationary scene points as implicit inertial references. Feature points are detected (FAST, Shi-Tomasi), tracked temporally (SSD, Lucas-Kanade) and matched across cameras (NCC), with search regions predicted from filter-derived pose and point uncertainty. Chi-squared gating on the normalised innovation admits only stationary points to the filter. The system also produces a sparse 3D point cloud carrying per-point position, velocity and joint covariance. These come from a 4-view (two stereo pairs at two timestamps) full bundle adjustment that jointly estimates position and velocity from stereo disparity and temporal parallax, with the filter-derived relative pose as a prior. Feature points in the EKF do not enter the solver; their information is reflected through the pose prior. Point cloud density is spatially adaptive: an external focus point directs allocation, producing dense coverage in the region of attention and sparse coverage elsewhere. The output is a body-frame state estimate, a calibrated pose change, and a sparse scene flow. It is intended as a measurement source for a downstream world model anchored in the current body frame, without dependence on GPS, IMU, or any world-frame infrastructure, though the architecture accommodates their future integration.