Unfold The World: Factorize 4D Properties in Reinforcing Spatial Reasoning

📄 arXiv: 2609.03729v1 📥 PDF

作者: Yijun Yang, Shenghe Zheng, Wenbo Li, Jianhui Liu, Haoze Sun, Yanbing Zhang, Jiaxiu Jiang, Lin Song, Haoyang Huang, Nan Duan, Lei Zhu

分类: cs.CV

发布日期: 2026-09-03

备注: Accepted by ECCV 2026

💡 一句话要点

提出FactoSR以解决视觉语言模型的空间推理问题

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture) 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 空间推理 因式分解 强化学习 视觉语言模型 多模态学习 3D几何 时间连续性 推理优化

📋 核心要点

  1. 现有的视觉语言模型在处理物理世界推理时存在维度不匹配的问题，导致其推理能力受限。
  2. 本文提出FactoSR框架，通过将推理问题分解为平面对应、深度一致性和时间可逆性三个子目标，来提升空间推理能力。
  3. 在多视角和视频基准测试中，FactoSR在VSI-Bench上提升了5.9%，在All-Angles-Bench上提升了4.5%，显示出显著的性能提升。

📝 摘要（中文）

尽管视觉语言模型在多模态任务中表现出色，但在物理世界的推理中仍显得“平面化”。本文指出，这一空间瓶颈源于维度不匹配：VLMs被训练用于解释2D投影，而真实的空间推理需要恢复潜在的3D几何和时间连续性。为了解决这一高维复杂性，本文提出了一种“分而治之”的学习范式，提出了FactoSR，一个因式分解的强化学习框架，明确解释了视觉投影所压缩的维度。FactoSR将世界一致性推理的单一问题分解为三个正交的几何子目标：平面对应（XY）、深度一致性（Z）和时间可逆性（T）。通过在统一的策略学习机制中优化这些可验证的约束，本文有效地将一个不适定的投影恢复问题转化为一系列可操作的推理步骤。

🔬 方法详解

问题定义：本文旨在解决视觉语言模型在物理世界推理中的空间瓶颈，现有方法在处理3D几何和时间连续性时存在显著不足。

核心思路：提出FactoSR框架，通过因式分解的方式，将复杂的推理问题拆解为三个正交的几何子目标，以便更有效地进行空间推理。

技术框架：FactoSR的整体架构包括三个主要模块：平面对应模块、深度一致性模块和时间可逆性模块。这些模块共同优化，以实现统一的策略学习。

关键创新：最重要的创新在于将世界一致性推理问题分解为多个可验证的子目标，这一方法与传统的单一模型推理方式本质上不同，能够更好地处理高维数据。

关键设计：在设计中，采用了特定的损失函数来优化每个子目标，并通过强化学习策略来协调各模块的学习，确保最终推理结果的一致性和准确性。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果显示，FactoSR在VSI-Bench上实现了5.9%的性能提升，在All-Angles-Bench上提升了4.5%。这些结果表明，因式分解的4D一致性强化学习框架显著增强了模型在空间推理任务中的表现。

🎯 应用场景

该研究的潜在应用领域包括机器人导航、自动驾驶、虚拟现实等，能够为这些领域提供更为准确的空间推理能力。通过提升视觉语言模型的推理能力，未来可能推动更智能的交互系统和自动化技术的发展。

📄 摘要（原文）

Despite the remarkable prowess of Vision-Language Models (VLMs) in general multimodal tasks, they remain fundamentally flat'' when reasoning about the physical world. We argue that this spatial bottleneck stems from a profound dimensional mismatch: while VLMs are trained to interpret 2D projections, true spatial reasoning demands the recovery of latent 3D geometry and temporal continuity. To conquer this high-dimensional complexity, we advocate a shift from monolithic learning to adivide and conquer'' paradigm. We present FactoSR, a factorized reinforcement learning framework that explicitly interpret the dimensions collapsed by visual projection. At its core, FactoSR decomposes the monolithic problem of world-consistent reasoning into three orthogonal, geometric sub-objectives: planar correspondence ($XY$), depth consistency ($Z$), and temporal reversibility ($T$). By optimizing these verifiable constraints within a unified policy learning mechanism, we effectively transform an ill-posed projection recovery problem into a series of tangible reasoning steps. Extensive evaluations on multi-view and video benchmarks demonstrate that this elegant decomposition yields substantial gains in 3D and 4D reasoning, achieving a 5.9% boost on VSI-Bench and 4.5% on All-Angles-Bench. Our findings suggest that reinforcing explicit, factorized 4D consistency is a critical step toward evolving VLMs into robust, world-aware reasoners.