DL-VINS-Factory: A Modular Framework for Learned Visual Front-Ends in Visual-Inertial SLAM

📄 arXiv: 2607.01757v1 📥 PDF

作者: Shoon Kit Lim, Melissa Jia Ying Chong, Ting Yang Ling

分类: cs.CV, cs.RO

发布日期: 2026-07-02

🔗 代码/项目: GITHUB

💡 一句话要点

提出DL-VINS-Factory以解决视觉惯性SLAM中的特征提取问题

🎯 匹配领域: 支柱三：空间感知与语义 (Perception & Semantics)

关键词: 视觉惯性SLAM 深度学习 特征提取 模块化框架 实时处理 机器人导航 无人机飞行 增强现实

📋 核心要点

  1. 现有的视觉惯性SLAM方法在特征提取方面依赖传统算法，难以充分利用深度学习的优势。
  2. DL-VINS-Factory框架整合了多种学习特征提取器，并结合不同的跟踪和匹配方法，以提升SLAM性能。
  3. 实验结果显示，学习前端在不同场景下的表现优于传统方法，尤其在动态和视觉退化条件下的鲁棒性显著提升。

📝 摘要（中文）

深度学习特征在视觉匹配中表现优异，但在紧耦合的视觉惯性SLAM（VI-SLAM）中的实际价值尚未充分评估。本文提出了DL-VINS-Factory，一个统一框架，集成了多种学习特征提取器（ALIKED、RaCo、SuperPoint、XFeat），并结合Lucas-Kanade光流跟踪或LightGlue描述符匹配。所有前端共享一个滑动窗口Ceres后端，并可选用AnyLoc DINOv2-VLAD回环闭合和4自由度位姿图优化。通过在四个数据集上的基准测试，结果表明学习前端在实时嵌入式VI-SLAM中是可行的，但并非在所有情况下都优于经典跟踪。

🔬 方法详解

问题定义：本文旨在解决现有视觉惯性SLAM方法在特征提取和匹配中的局限性，特别是如何有效利用深度学习特征以提高系统性能。现有方法往往依赖于经典的特征提取技术，难以适应复杂和动态的环境。

核心思路：DL-VINS-Factory框架的核心思想是将多种学习特征提取器与传统的光流跟踪和描述符匹配方法相结合，形成一个模块化的解决方案，以便在不同场景下灵活应用。通过这种方式，框架能够在保持实时性能的同时，提升SLAM的准确性和鲁棒性。

技术框架：该框架包括多个主要模块：首先是特征提取器（如ALIKED、RaCo等），其次是光流跟踪（LK）或描述符匹配（LG），最后是一个共享的滑动窗口Ceres后端，支持回环闭合和位姿图优化。

关键创新：最重要的创新在于将深度学习特征提取与传统SLAM方法有效结合，形成了一个灵活的模块化框架，能够在不同的环境和条件下进行优化。与现有方法相比，DL-VINS-Factory在多种场景下展现出更好的适应性和性能。

关键设计：在设计中，采用了多种学习特征提取器，并通过滑动窗口机制和Ceres优化算法实现了高效的后端处理。此外，AnyLoc DINOv2-VLAD回环闭合技术的引入，进一步提升了系统在复杂场景下的闭环能力。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果表明，ALIKED+LG在单目和立体视觉下分别减少了5%和7%的EuRoC ATE，且在NTU-VIRAL数据集中，ALIKED+LG立体视觉的回环闭合ATE减少了12%。在Botanic Garden数据集中，SuperPoint+LK和RaCo+LK分别减少了29%和38%的灰度和RGB相机ATE，显示出学习特征的有效性。

🎯 应用场景

DL-VINS-Factory框架具有广泛的应用潜力，尤其在机器人导航、无人机飞行、增强现实等领域。通过提升视觉惯性SLAM的性能，该框架能够支持更复杂的环境感知和实时决策，推动智能设备的自主性和智能化发展。

📄 摘要（原文）

Deep-learning features excel in visual matching, yet their practical value in tightly coupled visual-inertial SLAM (VI-SLAM) remains insufficiently characterized. We present DL-VINS-Factory, a unified framework that integrates learned feature extractors (ALIKED, RaCo, SuperPoint, XFeat) with either Lucas--Kanade (LK) optical-flow tracking or LightGlue (LG) descriptor matching. All front-ends share a sliding-window Ceres back-end, with optional AnyLoc DINOv2-VLAD loop closure, and 4-DoF pose-graph optimization. We benchmark the system across the four datasets covering indoor, unstructured outdoor, aggressive-motion, and visually degraded conditions. Results show that learned front-ends are viable for real-time embedded VI-SLAM, but are not universally superior to classical tracking. Relative to the corresponding GFTT+LK baseline, ALIKED+LG reduces EuRoC ATE by $5\%$ in monocular odometry and by $7\%$ in stereo with loop-closure. On NTU-VIRAL, where aggressive aerial motion increases inter-frame viewpoint change, ALIKED+LG stereo reduces loop-closed ATE by $12\%$. In Botanic Garden dataset, optical-flow tracking remains preferable, but learned keypoints still improve over the baseline GFTT, in which SuperPoint+LK reduces grayscale camera ATE by $29\%$, while RaCo+LK reduces RGB camera ATE by $38\%$. On SubT-MRS, learned front-ends display varying degree of improvement based on individual cases. With TensorRT acceleration on a Jetson AGX Orin, all valid configurations run in real time between $29$--$47$ FPS in monocular mode and $18$--$33$ FPS in stereo mode for the EuRoC and NTU-VIRAL datasets. AnyLoc further confirms roughly $2$--$7\times$ more valid loops than BRIEF+DBoW2. The implementation is open-sourced at https://github.com/limshoonkit/DL-VINS-Factory-ROS2/.