Geometric Foundation Model Distillation for Efficient Lunar 3D Reconstruction

📄 arXiv: 2607.01851v1 📥 PDF

作者: Clémentine Grethen, Florient Chouteau, Géraldine Morin, Simone Gasparini

分类: cs.CV

发布日期: 2026-07-02

备注: Accepted to ECCV 2026, code can be accessed via https://clementinegrethen.github.io/publications/ECCV.html

💡 一句话要点

提出几何基础模型蒸馏以解决月球3D重建效率问题

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture) 支柱三：空间感知与语义 (Perception & Semantics) 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 知识蒸馏 3D重建 月球探测 模型压缩 几何基础模型 深度学习 计算机视觉

📋 核心要点

  1. 现有的大型3D基础模型在计算资源受限的环境中难以部署，尤其是在行星探索等领域。
  2. 本文通过知识蒸馏技术，将大型教师模型的几何预测转化为多种轻量级学生模型，以提高效率。
  3. 实验结果显示，蒸馏后的模型在保持精度的同时，模型大小减少了7倍，且性能优于基线模型。

📝 摘要（中文）

大型3D基础模型如MASt3R在立体重建中表现出色，但在严格的硬件限制下计算需求高，限制了其在行星探索等领域的应用。本文研究如何通过知识蒸馏压缩这些模型，以月球立体重建为案例。基于688M参数的MASt3R教师模型，本文将其几何预测蒸馏为多种轻量级学生模型，探索不同编码器类型、解码器宽度和深度及训练策略。提出的结构化SVD初始化方法有效改善了收敛性和最终性能。实验结果表明，蒸馏后的学生模型在保持教师模型重建精度的同时，模型大小减少了7倍，且优于直接使用稀疏真实标注训练的基线模型。

🔬 方法详解

问题定义：本文旨在解决大型3D基础模型在资源受限环境下的高计算需求问题，现有方法在行星探索等领域的应用受到限制。

核心思路：通过知识蒸馏技术，将教师模型的几何预测转化为轻量级学生模型，采用结构化SVD初始化以改善模型收敛性和性能。

技术框架：整体架构包括教师模型的训练、学生模型的蒸馏过程，以及SVD初始化的应用。主要模块包括不同类型的编码器（CNN与ViT）、解码器的宽度和深度设置，以及训练策略的选择。

关键创新：提出的结构化SVD初始化方法是本研究的核心创新，它有效地将教师模型的解码器权重投影到学生模型的较小潜在空间，从而显著提高了优化的稳定性和最终性能。

关键设计：在模型设计中，保持编码器的容量比维持大型解码器更为重要，特征级蒸馏优于仅输出监督，且不同编码器的性能表现存在差异。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果表明，蒸馏后的学生模型在保持教师模型重建精度的同时，模型大小减少了7倍，且在与基线模型的比较中表现出更优的性能，展示了知识蒸馏在3D重建中的有效性。

🎯 应用场景

该研究的潜在应用领域包括行星探索、无人驾驶、机器人导航等需要高效3D重建的场景。通过降低模型的计算需求，能够在资源受限的环境中实现更高效的实时处理，推动相关技术的实际应用和发展。

📄 摘要（原文）

Large 3D foundation models such as MASt3R achieve state-of-the-art stereo reconstruction but are computationally demanding for deployment under strict hardware constraints -- a critical limitation in domains such as planetary exploration, where onboard computing is severely restricted. We study how far such models can be compressed through knowledge distillation, using lunar stereo reconstruction as a challenging and practically relevant case study. Starting from a 688M-parameter MASt3R teacher fine-tuned on lunar imagery, we distill its dense geometric predictions into a family of lightweight students spanning different encoder types (CNN vs ViT), decoder widths and depths, and training strategies. To bridge the dimensional mismatch between teacher and student, we propose a structured SVD-based initialization that projects the teacher's decoder weights into the student's smaller latent space, yielding a warm start that significantly improves convergence and final performance. Based on our results on lunar data, we can obtain a distilled student that retains most of teacher's reconstruction accuracy while reducing the model size up to 7 times, and even outperforms a baseline trained directly with sparse ground-truth annotations. Beyond compression, our study highlights both principles and practical insights for distilling geometric foundation models: a convolutional encoder underperforms transformer-based alternatives (though pretraining availability remains a confounding factor), preserving encoder capacity is more critical than maintaining a large decoder, feature-level distillation consistently outperforms output-only supervision, and SVD-based initialization improves optimisation stability. These findings provide practical guidelines for deploying 3D reconstruction models in resource-constrained environments.