Multi-View Relational Distillation for Spatial Reasoning with Vision-Language Models
作者: Kiet T. Nguyen, Hanbo Shim, Jinwoo Kim, Seunghoon Hong
分类: cs.CV
发布日期: 2026-08-11
💡 一句话要点
提出多视角关系蒸馏以解决视觉语言模型的空间推理问题
🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture) 支柱三：空间感知与语义 (Perception & Semantics) 支柱九：具身大模型 (Embodied Foundation Models)
关键词: 视觉语言模型 空间推理 多视角关系蒸馏 几何对应 机器人导航 自动驾驶 增强现实
📋 核心要点
- 现有的视觉语言模型在空间推理上表现不佳，主要由于其视觉空间表示的几何脆弱性。
- 本文提出的多视角关系蒸馏方法通过蒸馏补丁间的余弦相似度来捕捉几何对应关系，保持学生模型的预训练对齐。
- 实验结果显示，MVRD在视觉空间推理任务中超越了传统的微调和特征蒸馏方法，同时在参数和延迟上具有显著优势。
📝 摘要（中文）
视觉语言模型（VLMs）在图像和视频理解方面取得了显著进展，但其视觉空间表示在几何上仍然脆弱，导致在机器人、自动驾驶等领域的空间推理失败。现有几何基础的对齐方法要么通过微调VLMs来进行空间问答，可能会延续虚假的视觉表示，要么通过融合大型几何基础视觉模型的特征，显著增加推理时的模型大小。本文提出了多视角关系蒸馏（MVRD），通过蒸馏视角间的补丁余弦相似度来替代直接匹配教师特征，从而保持学生表示的预训练对齐。实验表明，MVRD在视觉空间推理方面优于监督微调和特征蒸馏，并在参数增加和延迟方面接近特征融合方法。
🔬 方法详解
问题定义：本文旨在解决视觉语言模型在空间推理中的几何脆弱性，现有方法通过微调或特征融合导致模型性能下降或体积庞大。
核心思路：提出多视角关系蒸馏（MVRD），通过蒸馏视角间的补丁余弦相似度，捕捉几何对应关系，同时保持学生模型的预训练对齐，避免直接匹配教师特征带来的问题。
技术框架：MVRD的整体架构包括教师模型和学生模型，教师模型负责生成补丁余弦相似度，学生模型则通过这些相似度进行训练，保持与视觉语言空间的对齐。
关键创新：MVRD的核心创新在于通过关系蒸馏而非特征蒸馏，避免了直接匹配导致的对齐破坏，从而提升了空间推理能力。
关键设计：在损失函数设计上，采用了补丁余弦相似度的蒸馏损失，确保学生模型在保持几何表示的同时，仍然与语言表示保持一致。
🖼️ 关键图片
📊 实验亮点
实验结果表明，MVRD在多个视觉空间推理任务中表现优异，超越了传统的监督微调和特征蒸馏方法，且在参数增加和延迟方面显著低于特征融合方法，展示了其高效性和实用性。
🎯 应用场景
该研究的潜在应用领域包括机器人导航、自动驾驶、增强现实等，能够提升这些领域中视觉与语言的理解能力，促进更智能的交互和决策。未来，MVRD可能在更复杂的3D场景理解任务中发挥重要作用。
📄 摘要（原文）
Vision-language models (VLMs) have achieved strong image and video understanding, yet their visual-spatial representations remain geometrically fragile, leading to failures in spatial reasoning needed for embodied AI, robotics, and autonomous driving. Prior approaches to geometry grounding either fine-tune VLMs on spatial question answering, which can perpetuate spurious visual representations, or fuse features from large geometry-grounded vision models, which substantially increases model size at inference. Knowledge distillation from geometry-grounded vision models offers an alternative, but directly matching multi-view teacher features can disrupt the pretrained alignment between visual and textual representations, degrading object- and language-semantic capabilities. We propose multi-view relational distillation (MVRD), which distills patch-wise cosine similarities across views instead of the teacher features themselves. These relations encode geometric correspondences adequate for spatial understanding, while leaving the student representation underdetermined, allowing it to remain close to its pretrained vision- language space. Across representative VLMs, MVRD improves visual-spatial reasoning, outperforming supervised fine-tuning and feature distillation while approaching feature fusion methods with considerably fewer added parameters and lower latency. We show that MVRD makes visual representations more geometric while retaining language alignment, and generalizes to 3D scene understanding tasks such as object grounding, dense captioning, and question answering.