Geometric Foundation Model Distillation for Efficient Lunar 3D Reconstruction
作者: Clémentine Grethen, Florient Chouteau, Géraldine Morin, Simone Gasparini
分类: cs.CV
发布日期: 2026-07-05
💡 一句话要点
通过几何基础模型蒸馏提升月球3D重建效率
🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture) 支柱三：空间感知与语义 (Perception & Semantics) 支柱九：具身大模型 (Embodied Foundation Models)
关键词: 知识蒸馏 3D重建 模型压缩 行星探索 几何基础模型 SVD初始化 深度学习
📋 核心要点
- 现有大型3D基础模型在计算资源受限的环境中难以部署，限制了其在行星探索等领域的应用。
- 本文提出通过知识蒸馏将大型教师模型的几何预测转化为轻量级学生模型，解决了模型压缩问题。
- 实验结果显示，蒸馏后的学生模型在保持重建精度的同时，模型大小减少了7倍，且优于直接训练的基线模型。
📝 摘要（中文）
大型3D基础模型如MASt3R在立体重建方面表现出色，但在严格的硬件限制下部署时计算需求高，限制了其在行星探索等领域的应用。本文研究了如何通过知识蒸馏压缩这些模型，以月球立体重建为案例。我们从688M参数的MASt3R教师模型出发，将其密集几何预测蒸馏为一系列轻量级学生模型。通过结构化的SVD初始化方法，成功缩小了教师和学生模型之间的维度差异，显著提高了收敛性和最终性能。实验结果表明，蒸馏后的学生模型在保持大部分重建精度的同时，模型大小减少了7倍，并且在稀疏真实标注的基线模型上表现更优。此研究为资源受限环境下的3D重建模型提供了实用指导。
🔬 方法详解
问题定义：本文旨在解决大型3D基础模型在资源受限环境下的高计算需求问题。现有方法在行星探索等领域的应用受到限制，亟需有效的模型压缩技术。
核心思路：通过知识蒸馏将教师模型的几何预测转化为轻量级学生模型，采用结构化的SVD初始化方法以缩小教师和学生模型之间的维度差异，从而提高收敛性和性能。
技术框架：整体架构包括教师模型的训练、学生模型的蒸馏、SVD初始化和最终的性能评估。教师模型为688M参数的MASt3R，学生模型则为不同编码器类型（CNN与ViT）和解码器配置的轻量级模型。
关键创新：提出的SVD初始化方法是本研究的核心创新，它有效地将教师模型的解码器权重投影到学生模型的较小潜在空间中，显著提升了优化的稳定性和最终性能。
关键设计：在模型设计中，保持编码器的容量比维持大型解码器更为重要，特征级蒸馏优于仅输出监督的方式，且在不同训练策略下，Transformer编码器的表现优于卷积编码器。具体的损失函数和网络结构设计也经过精心调整，以确保最佳性能。
🖼️ 关键图片
📊 实验亮点
实验结果表明，蒸馏后的学生模型在保持教师模型重建精度的同时，模型大小减少了7倍，且在稀疏真实标注的基线模型上表现更优，展示了知识蒸馏在3D重建中的有效性和潜力。
🎯 应用场景
该研究的潜在应用领域包括行星探索、无人驾驶、机器人导航等需要高效3D重建的场景。通过模型压缩和蒸馏技术，可以在资源受限的环境中实现高精度的三维重建，推动相关技术的实际应用和发展。
📄 摘要（原文）
Large 3D foundation models such as MASt3R achieve state-of-the-art stereo reconstruction but are computationally demanding for deployment under strict hardware constraints -- a critical limitation in domains such as planetary exploration, where onboard computing is severely restricted. We study how far such models can be compressed through knowledge distillation, using lunar stereo reconstruction as a challenging and practically relevant case study. Starting from a 688M-parameter MASt3R teacher fine-tuned on lunar imagery, we distill its dense geometric predictions into a family of lightweight students spanning different encoder types (CNN vs ViT), decoder widths and depths, and training strategies. To bridge the dimensional mismatch between teacher and student, we propose a structured SVD-based initialization that projects the teacher's decoder weights into the student's smaller latent space, yielding a warm start that significantly improves convergence and final performance. Based on our results on lunar data, we can obtain a distilled student that retains most of teacher's reconstruction accuracy while reducing the model size up to 7 times, and even outperforms a baseline trained directly with sparse ground-truth annotations. Beyond compression, our study highlights both principles and practical insights for distilling geometric foundation models: a convolutional encoder underperforms transformer-based alternatives (though pretraining availability remains a confounding factor), preserving encoder capacity is more critical than maintaining a large decoder, feature-level distillation consistently outperforms output-only supervision, and SVD-based initialization improves optimisation stability. These findings provide practical guidelines for deploying 3D reconstruction models in resource-constrained environments.