Artificial Microsaccade Compensation: Stable Vision for an Ornithopter

📄 arXiv: 2512.03995v1 📥 PDF

作者: Levi Burner, Guido de Croon, Yiannis Aloimonos

分类: cs.RO, cs.CV

发布日期: 2025-12-03

备注: 29 pages, 5 figures, 2 tables, under review

💡 一句话要点

提出人工微眼跳补偿方法，稳定扑翼飞行器剧烈抖动下的视频

🎯 匹配领域: 支柱一：机器人控制 (Robot Control)

关键词: 视频稳定 人工微眼跳 扑翼飞行器 图像处理 SO(3)优化

📋 核心要点

  1. 传统基于相机的传感方法难以应用于剧烈抖动的扑翼飞行器，因为其高频抖动导致图像不稳定。
  2. 该方法模拟人眼微眼跳，通过优化3D旋转来最小化图像强度变化，从而稳定视频。
  3. 实验表明，该方法优于Adobe Premier Pro的Warp Stabilizer，且能实时运行，适用于人眼观看。

📝 摘要（中文）

本文提出了一种“人工微眼跳补偿”方法，灵感来源于具有中央凹视觉的动物（包括人类）所经历的微眼跳现象。该方法旨在稳定无尾扑翼飞行器拍摄的视频，这种飞行器由于以12-20Hz的频率抖动，一直难以使用基于摄像头的传感技术。该方法通过优化SO(3)中的3D旋转，最小化图像强度的变化，从而实现视频稳定。最终生成实时、无失真且适合人眼观看的稳定视频。通过调整以保持固定的观看方向（偶尔进行跳跃），该方法可以显著减少帧间运动，并受益于高效的递归更新。与广泛认为最好的商业视频稳定软件Adobe Premier Pro的Warp Stabilizer相比，该方法在实现更高质量结果的同时，还能实时运行。

🔬 方法详解

问题定义：论文旨在解决扑翼飞行器在飞行过程中由于自身结构和运动方式产生的高频抖动问题，导致相机拍摄的视频剧烈抖动，难以进行后续处理和人眼观看。现有基于相机的稳定方法难以有效处理这种高频、大幅度的抖动。

核心思路：论文受到人眼微眼跳现象的启发，认为可以通过模拟微小的、快速的眼球运动来补偿视频中的抖动。核心思想是通过优化相机在三维空间中的旋转，使得相邻帧之间的图像强度变化最小，从而实现视频稳定。

技术框架：该方法的主要流程包括：1) 输入抖动的视频流；2) 对每一帧图像，通过优化算法计算出最佳的3D旋转变换；3) 将该旋转变换应用于当前帧，生成稳定的视频帧；4) 递归地更新旋转变换，以提高稳定效果和计算效率。整个过程可以实时进行。

关键创新：该方法的关键创新在于：1) 将人眼微眼跳的概念引入到视频稳定领域；2) 使用SO(3)表示3D旋转，并直接在SO(3)空间中进行优化，避免了欧拉角等表示方法的奇异性问题；3) 设计了高效的优化算法，能够实时计算出最佳的旋转变换。

关键设计：该方法使用图像强度变化作为损失函数，通过最小化该损失函数来优化3D旋转。具体而言，损失函数可以定义为相邻帧之间对应像素的强度差的平方和。优化算法可以使用梯度下降法或其他优化算法。为了提高计算效率，可以使用递归更新的方法，即利用前一帧的旋转变换作为当前帧优化的初始值。此外，还可以通过调整优化算法的参数，如学习率、迭代次数等，来平衡稳定效果和计算速度。

📊 实验亮点

实验结果表明，该方法能够有效地稳定扑翼飞行器拍摄的视频，并且在稳定效果上优于商业软件Adobe Premier Pro的Warp Stabilizer。更重要的是，该方法能够实时运行，满足实际应用的需求。具体的性能数据（如PSNR、SSIM等）和对比基线（如其他视频稳定算法）的数据在论文中未明确给出，属于未知信息。

🎯 应用场景

该研究成果可应用于各种需要稳定视频的场景，例如无人机航拍、机器人视觉、运动相机等。特别是在扑翼飞行器等剧烈抖动的平台上，该方法能够提供高质量的稳定视频，为后续的图像处理、目标检测、SLAM等任务提供基础。此外，该方法还可以用于虚拟现实和增强现实等领域，提高用户体验。

📄 摘要（原文）

Animals with foveated vision, including humans, experience microsaccades, small, rapid eye movements that they are not aware of. Inspired by this phenomenon, we develop a method for "Artificial Microsaccade Compensation". It can stabilize video captured by a tailless ornithopter that has resisted attempts to use camera-based sensing because it shakes at 12-20 Hz. Our approach minimizes changes in image intensity by optimizing over 3D rotation represented in SO(3). This results in a stabilized video, computed in real time, suitable for human viewing, and free from distortion. When adapted to hold a fixed viewing orientation, up to occasional saccades, it can dramatically reduce inter-frame motion while also benefiting from an efficient recursive update. When compared to Adobe Premier Pro's warp stabilizer, which is widely regarded as the best commercial video stabilization software available, our method achieves higher quality results while also running in real time.