DL-VINS-Factory: A Modular Framework for Learned Visual Front-Ends in Visual-Inertial SLAM

📄 arXiv: 2607.01757 📥 PDF

作者: Shoon Kit Lim, Melissa Jia Ying Chong, Ting Yang Ling

分类: cs.CV, cs.RO

发布日期: 2026-07-05

💡 一句话要点

提出DL-VINS-Factory以解决视觉惯性SLAM中的特征提取问题

🎯 匹配领域: 支柱三：空间感知与语义 (Perception & Semantics)

关键词: 视觉惯性SLAM 深度学习 特征提取 光流跟踪 描述符匹配 模块化框架 实时处理

📋 核心要点

  1. 现有的视觉惯性SLAM方法在特征提取方面依赖传统算法，难以充分利用深度学习的优势。
  2. DL-VINS-Factory框架集成了多种学习特征提取器，并结合光流跟踪和描述符匹配，提升了特征提取的灵活性和准确性。
  3. 实验结果显示，ALIKED+LG在多个数据集上显著降低了定位误差，尤其在动态和视觉退化环境中表现突出。

📝 摘要（中文）

深度学习特征在视觉匹配中表现优异，但在紧耦合的视觉惯性SLAM（VI-SLAM）中的实际应用价值尚未充分评估。本文提出了DL-VINS-Factory，一个统一框架，集成了多种学习特征提取器（ALIKED、RaCo、SuperPoint、XFeat），并结合Lucas-Kanade光流跟踪或LightGlue描述符匹配。所有前端共享滑动窗口Ceres后端，并可选用AnyLoc DINOv2-VLAD回环闭合和4自由度位姿图优化。通过在四个数据集上的基准测试，结果表明学习前端在实时嵌入式VI-SLAM中是可行的，但并非在所有情况下优于经典跟踪。

🔬 方法详解

问题定义：本文旨在解决现有视觉惯性SLAM方法在特征提取方面的不足，特别是在动态和复杂环境下的鲁棒性和准确性问题。现有方法多依赖于经典特征提取算法，未能充分利用深度学习的优势。

核心思路：DL-VINS-Factory框架通过集成多种学习特征提取器，结合光流跟踪和描述符匹配，旨在提升特征提取的性能和灵活性。该设计允许在不同场景下选择最优的特征提取策略，从而提高SLAM系统的整体性能。

技术框架：框架的整体架构包括多个模块：学习特征提取器（如ALIKED、RaCo、SuperPoint、XFeat）、光流跟踪（LK）或描述符匹配（LG）、滑动窗口Ceres后端、可选的AnyLoc回环闭合和4自由度位姿图优化。各模块之间通过标准接口进行连接，确保系统的模块化和可扩展性。

关键创新：最重要的技术创新在于将多种学习特征提取器与传统的光流跟踪和描述符匹配方法相结合，形成一个灵活的框架。这种设计使得系统能够在不同的环境和条件下选择最优的特征提取策略，提升了SLAM的鲁棒性和准确性。

关键设计：在参数设置上，框架允许用户根据具体应用选择不同的特征提取器和匹配算法。损失函数和网络结构的设计也经过优化，以确保在实时处理中的高效性。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果显示，ALIKED+LG在EuRoC数据集中相较于GFTT+LK基线，单目测距误差降低了5%，立体视觉下降低了7%。在NTU-VIRAL数据集中，ALIKED+LG立体视觉的回环闭合误差降低了12%。在Botanic Garden数据集中，SuperPoint+LK和RaCo+LK分别降低了灰度和RGB相机的定位误差，提升幅度达到29%和38%。

🎯 应用场景

该研究的潜在应用领域包括无人驾驶、机器人导航和增强现实等，能够在动态和复杂环境中提供更高的定位精度和鲁棒性。未来，随着深度学习技术的进一步发展，该框架有望在更多实际应用中得到推广和应用。

📄 摘要（原文）

Deep-learning features excel in visual matching, yet their practical value in tightly coupled visual-inertial SLAM (VI-SLAM) remains insufficiently characterized. We present DL-VINS-Factory, a unified framework that integrates learned feature extractors (ALIKED, RaCo, SuperPoint, XFeat) with either Lucas--Kanade (LK) optical-flow tracking or LightGlue (LG) descriptor matching. All front-ends share a sliding-window Ceres back-end, with optional AnyLoc DINOv2-VLAD loop closure, and 4-DoF pose-graph optimization. We benchmark the system across the four datasets covering indoor, unstructured outdoor, aggressive-motion, and visually degraded conditions. Results show that learned front-ends are viable for real-time embedded VI-SLAM, but are not universally superior to classical tracking. Relative to the corresponding GFTT+LK baseline, ALIKED+LG reduces EuRoC ATE by $5\%$ in monocular odometry and by $7\%$ in stereo with loop-closure. On NTU-VIRAL, where aggressive aerial motion increases inter-frame viewpoint change, ALIKED+LG stereo reduces loop-closed ATE by $12\%$. In Botanic Garden dataset, optical-flow tracking remains preferable, but learned keypoints still improve over the baseline GFTT, in which SuperPoint+LK reduces grayscale camera ATE by $29\%$, while RaCo+LK reduces RGB camera ATE by $38\%$. On SubT-MRS, learned front-ends display varying degree of improvement based on individual cases. With TensorRT acceleration on a Jetson AGX Orin, all valid configurations run in real time between $29$--$47$ FPS in monocular mode and $18$--$33$ FPS in stereo mode for the EuRoC and NTU-VIRAL datasets. AnyLoc further confirms roughly $2$--$7\times$ more valid loops than BRIEF+DBoW2. The implementation is open-sourced atthis https URL.