Vision Pretraining for Dense Spatial Perception
作者: Zelin Fu, Bin Tan, Changjiang Sun, Shaohui Liu, Kecheng Zheng, Yinghao Xu, Xing Zhu, Yujun Shen, Nan Xue
分类: cs.CV
发布日期: 2026-07-06
备注: Tech report, 31 pages
💡 一句话要点
提出边界中心的视觉预训练以提升密集空间感知能力
🎯 匹配领域: 支柱三：空间感知与语义 (Perception & Semantics) 支柱九：具身大模型 (Embodied Foundation Models)
关键词: 密集空间感知 视觉预训练 边界建模 自监督学习 深度估计
📋 核心要点
- 现有视觉基础模型在追求语义不变性时，往往忽视了详细的空间理解，导致密集空间感知能力不足。
- 本文提出掩蔽边界建模，通过动态学习亚像素边界表示，利用边界信息促进密集视觉标记的学习。
- LingBot-Vision在多种下游任务中表现优异，尤其在深度补全任务中显著提升了深度估计的准确性。
📝 摘要（中文）
密集空间感知对于物理智能至关重要，视觉系统需从像素观察中恢复结构化、度量化和可操作的表示。现代视觉基础模型往往优先考虑语义不变性，牺牲了详细的空间理解。本文通过边界中心的视角研究视觉预训练，提出了掩蔽边界建模这一自监督范式，动态学习亚像素边界表示，并利用发现的边界承载标记作为掩蔽目标，促进密集视觉标记学习。我们开发了LingBot-Vision，并在多种下游视觉任务中展示其有效性，尤其在深度补全任务中显著提升了深度估计能力，为具身人工智能奠定了基础。研究表明，边界建模不仅限于简单的线段，而是作为学习空间结构视觉表示的可扩展预训练原则。
🔬 方法详解
问题定义：本文旨在解决现有视觉模型在密集空间感知中的不足，特别是对空间结构的理解能力较弱的问题。现有方法往往忽略了边界和形状不连续性的重要性。
核心思路：提出掩蔽边界建模，通过边界信息来增强视觉模型的空间理解能力，利用自监督学习动态学习边界表示。
技术框架：整体架构包括边界建模模块和密集视觉标记学习模块，前者负责学习亚像素边界表示，后者利用这些边界信息作为目标进行训练。
关键创新：最重要的创新在于将边界建模作为预训练原则，超越了传统的线段表示，提供了一种新的学习空间结构的方式。
关键设计：在模型设计中，采用了特定的损失函数来优化边界表示，并通过动态调整学习率和参数设置来提高模型的学习效率。网络结构上，结合了卷积神经网络和自注意力机制，以增强特征提取能力。
🖼️ 关键图片
📊 实验亮点
LingBot-Vision在深度补全任务中表现出色，相较于DINOv3基线，深度估计精度显著提升，具体性能数据表明，模型在多个下游任务中均取得了优异的效果，验证了边界建模的有效性。
🎯 应用场景
该研究的潜在应用领域包括机器人视觉、自动驾驶、增强现实等，能够为这些领域提供更精准的空间感知能力。通过提升深度估计的准确性，LingBot-Vision在具身人工智能的发展中具有重要的实际价值和影响力。
📄 摘要（原文）
Dense spatial perception is essential for physical intelligence, where visual systems are expected to recover structured, metric, and actionable representations from pixel observations. Modern visual foundation models tend to prioritize semantic invariance, often at the expense of detailed spatial understanding. In this work, we study vision pretraining through a boundary-centric lens, motivated by the premise that boundaries and shape discontinuities offer essential cues for perceiving geometric properties. Concretely, we propose masked boundary modeling, a self-supervised paradigm that dynamically learns sub-pixel boundary representations and subsequently leverages the discovered boundary-bearing tokens as masked targets to facilitate dense visual token learning. By scaling this framework, we develop LingBot-Vision and demonstrate its efficacy across a diverse set of downstream vision tasks with DINOv3 as a strong baseline. Remarkably, LingBot-Vision drives the progression from LingBot-Depth 1.0 to LingBot-Depth 2.0 for depth completion, and thereby yields enhanced depth estimation, a key pillar for embodied artificial intelligence. Our findings reveal that boundary modeling goes beyond simple line segments and instead serves as a scalable pretraining principle for learning spatially structured visual representations.