OneCanvas: 3D Scene Understanding via Panoramic Reprojection
作者: Bartłomiej Baranowski, Dave Zhenyu Chen, Matthias Nießner
分类: cs.CV, cs.AI, cs.LG, cs.RO
发布日期: 2026-06-17
备注: Project page: https://baranowskibrt.github.io/onecanvas/
💡 一句话要点
提出OneCanvas以解决3D场景理解中的空间推理问题
🎯 匹配领域: 支柱三：空间感知与语义 (Perception & Semantics) 支柱九：具身大模型 (Embodied Foundation Models)
关键词: 3D场景理解 视觉-语言模型 空间推理 全景画布 补丁特征聚合 机器人技术 具身人工智能
📋 核心要点
- 现有的3D场景理解方法依赖复杂的几何编码器或高昂的训练成本，难以实现高效的空间推理。
- OneCanvas通过将补丁特征聚合到一个全景画布上，简化了3D场景的表示，支持从任意视角进行推理。
- 该方法在多个基准测试中表现优异，尤其在SQA3D和VSI-Bench上取得了最先进的结果，且训练成本显著降低。
📝 摘要（中文）
现有的视觉-语言模型（VLM）在3D场景理解中，通常依赖复杂的几何编码器或巨大的训练预算来实现空间推理。OneCanvas通过将所有视角的补丁特征聚合到一个单一的等距全景画布上，提出了一种新的解决方案。每个补丁通过其深度和相机姿态被反投影到3D世界坐标，并在画布上以该点的经纬度进行放置。该方法无需对重叠视图进行光栅化或聚合，且通过添加3D位置嵌入，恢复了在将世界位置压缩到角度画布坐标时丢失的深度信息。OneCanvas在SQA3D和VSI-Bench上达到了最先进的准确率，并在SPBench上对分布外数据具有良好的泛化能力，同时所需的训练计算量比最强竞争方法少一个数量级。
🔬 方法详解
问题定义：论文旨在解决现有3D场景理解方法在空间推理上的不足，尤其是复杂的几何编码器和高训练预算的问题。
核心思路：OneCanvas的核心思路是将所有视角的补丁特征聚合到一个等距全景画布上，利用反投影技术将补丁映射到3D世界坐标，简化了空间表示。
技术框架：整体架构包括补丁特征的反投影、在画布上的放置以及3D位置嵌入的添加。补丁特征在画布上以经纬度形式呈现，形成统一的空间坐标系统。
关键创新：最重要的创新在于无须对重叠视图进行光栅化或聚合，且通过3D位置嵌入恢复了深度信息，使得补丁特征在空间上保持一致。
关键设计：关键设计包括补丁特征的反投影过程、3D位置嵌入的实现，以及如何在训练过程中生成覆盖广泛空间推理任务的监督信号。通过程序化放置补丁特征，减少了空间推理的捷径。
🖼️ 关键图片
📊 实验亮点
OneCanvas在SQA3D和VSI-Bench上达到了最先进的准确率，且在SPBench上对分布外数据表现出良好的泛化能力。与最强竞争方法相比，该方法在训练计算量上减少了一个数量级，显示出其高效性和实用性。
🎯 应用场景
OneCanvas的研究成果在机器人和具身人工智能等领域具有广泛的应用潜力。通过支持从特定视角进行的空间推理，该方法可以提升机器人在复杂环境中的决策能力和适应性，推动智能体在真实世界中的应用。未来，该技术可能会在自动驾驶、增强现实等领域发挥重要作用。
📄 摘要（原文）
Existing approaches to 3D scene understanding in Vision-Language Models (VLMs) either rely on complex, model-specific geometry encoders or large training budgets in pursuit of spatial reasoning. Instead, OneCanvas aggregates patch features from all views onto a single equirectangular panoramic canvas. Namely, each patch is unprojected to a 3D world coordinate using its depth and camera pose, then placed on the canvas at the continuous longitude and latitude of that point as seen from the canvas origin, with no rasterization or aggregation across overlapping views. A 3D position embedding of the patch's metric coordinates is added to its feature, restoring the depth lost when collapsing the world position to an angular canvas coordinate. Patches from all frames thus share one spatial coordinate system with no fusion or major architectural modifications of the backbone. The pretrained VLM consumes this representation as if it were an ordinary image. Because the canvas can be centered on any pose of interest, the same representation directly supports situated reasoning from a specific viewpoint, a common requirement in robotics and embodied AI. Thanks to this representation, we can also introduce a spatial pretraining curriculum: by procedurally placing patch features of objects, drawn from real images, at chosen 3D world positions on an otherwise empty canvas, we generate on-the-fly supervision spanning a broad range of spatial reasoning tasks, with answer distributions controlled to reduce spatial reasoning shortcuts. OneCanvas achieves state-of-the-art accuracy on SQA3D and VSI-Bench, and generalizes to out-of-distribution data on SPBench, using an order of magnitude less training compute than the strongest competing methods.