GeoWorld-VLM: Geometry from World Models for Vision-Language Models
作者: Renjie Gu, Kaichen Zhou, Yan Luo, Mengyu Wang
分类: cs.CV, cs.AI
发布日期: 2026-06-12
💡 一句话要点
提出GeoWorld-VLM以解决视觉语言模型的空间关系识别问题
🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture) 支柱九：具身大模型 (Embodied Foundation Models)
关键词: 视觉语言模型 空间关系 几何结构 蒸馏训练 多模态学习 特征对齐 智能助手 增强现实
📋 核心要点
- 现有视觉语言模型在处理基本空间关系时表现不佳，导致语义理解的脆弱性。
- 提出GeoWorld-VLM框架，通过蒸馏几何结构来增强视觉通路，从而改善空间关系的识别能力。
- 在What'sUp和VSR基准测试中，GeoWorld-VLM在两个不同的VLM架构上均提高了约4%的性能，验证了其有效性。
📝 摘要（中文）
现代视觉语言模型（VLMs）在语义识别方面表现出色，但在基本空间关系（如左侧、上方、后方和之间）上仍然存在脆弱性。造成这种失败的原因之一是在语言推理开始之前，视觉通路可能在特征提取过程中压缩或丢弃关键的3D结构线索，从而使语言模型接收到的图像表示不足以进行可靠的空间判断。为此，本文提出了GeoWorld-VLM，一个在VLM侧进行蒸馏的框架，将冻结的相机条件视频世界模型中的几何结构转移到VLM中。GeoWorld-VLM仅微调图像编码器和多模态投影器，同时保持主干网络不变。通过结合空间答案监督、教师-学生特征对齐和对原始VLM的保留锚，GeoWorld-VLM在保持语言模型原有语言能力的同时，提升了空间推理能力。
🔬 方法详解
问题定义：本文旨在解决现代视觉语言模型在基本空间关系识别中的不足，现有方法在特征提取过程中可能丢失关键的3D结构信息，导致空间判断能力不足。
核心思路：GeoWorld-VLM通过将冻结的相机条件视频世界模型中的几何结构转移到VLM中，增强视觉通路的空间信息，从而提升空间推理能力。该方法仅微调图像编码器和多模态投影器，保持语言模型不变。
技术框架：GeoWorld-VLM的整体架构包括三个主要模块：图像编码器、教师-学生特征对齐和多模态投影器。首先，教师模型将静态视觉输入转换为合成的多视角空间信号，然后通过特征对齐和空间答案监督进行训练。
关键创新：最重要的创新在于通过教师模型引入几何结构，提升了视觉通路的空间信息处理能力。这一方法与传统的VLM训练方式不同，避免了对语言模型的修改。
关键设计：在训练过程中，采用了空间答案监督、教师-学生特征对齐和保留锚等设计，确保了原有VLM的语言能力得以保留，同时实现了空间推理能力的提升。
🖼️ 关键图片
📊 实验亮点
GeoWorld-VLM在What'sUp和VSR基准测试中均提高了约4%的性能，验证了其在不同VLM架构上的有效性和通用性。这一结果表明，基于世界模型的视觉对齐方法在空间推理任务中具有广泛的适用性。
🎯 应用场景
该研究的潜在应用领域包括智能助手、自动驾驶、增强现实等场景，能够提升系统在复杂环境中的空间理解能力。未来，GeoWorld-VLM可能推动更高效的多模态学习方法的发展，促进人机交互的智能化。
📄 摘要（原文）
Modern Vision-Language Models (VLMs) achieve strong semantic recognition, yet remain brittle on elementary spatial relations such as left of, on, behind, and between. One cause of this failure arises before language reasoning begins: the visual pathway may compress or discard critical 3D structural cues during feature extraction, so the language model receives image representations that are already insufficient for reliable spatial judgment. We introduce GeoWorld-VLM, a VLM-side distillation framework that transfers geometric structure from frozen camera-conditioned video world models into VLMs. GeoWorld-VLM fine-tunes only the image encoder and multimodal projector, aligning post-projector image features with intermediate world-model representations while leaving the main backbone frozen. Given images, a prompt, and a sampled camera trajectory, the world-model teacher converts static visual input into a synthetic multi-view spatial signal. Training combines spatial answer supervision, teacher-student feature alignment, and a preservation anchor to the original VLM. Since the language model remains frozen, GeoWorld-VLM preserves the original model's linguistic capabilities while attributing spatial improvements to the enhanced visual pathway. To evaluate the effectiveness and generality of the proposed method, we apply GeoWorld-VLM to two distinct VLM architectures and observe consistent improvements across both backbones. GeoWorld-VLM improves performance by approximately 4 percent on both the What'sUp and VSR benchmarks, suggesting that world-model-guided visual alignment generalizes across model structures and spatial reasoning datasets.