Reason, Then Re-reason: Cross-view Revisiting Improves Spatial Reasoning
作者: Chaofan Ma, Zhenjie Mao, Yuhuan Yang, Fanqin Zeng, Yue Shi, Yingjie Zhou, Xiaofeng Cao, Jiangchao Yao
分类: cs.CV, cs.AI
发布日期: 2026-06-10
备注: ICML 2026
🔗 代码/项目: PROJECT_PAGE
💡 一句话要点
提出跨视角重访方法以提升空间推理能力
🎯 匹配领域: 支柱六：视频提取与匹配 (Video Extraction)
关键词: 空间推理 跨视角重访 几何到视频 多轮推理 机器学习
📋 核心要点
- 现有方法在空间推理中面临几何模糊性，且依赖单轮推理，限制了模型的推理能力。
- 提出了Reason, then Re-reason (ReRe)框架，通过推理和重推理两个阶段来修正空间假设，增强推理的准确性。
- 在VSI-Bench和STI-Bench上的评估结果显示，ReRe显著提升了开源MLLM的性能，接近最先进的专有模型。
📝 摘要（中文）
空间推理在自我中心视频中具有挑战性，因为可观察证据受限于相机轨迹。现有方法依赖单轮推理，迫使模型通过语义先验而非可验证证据来解决几何模糊性。我们认为空间推理应是可重访的：在有限证据下形成的结论应在获得补充视角时保持开放修正。基于此，我们提出了Reason, then Re-reason (ReRe)，这是一个无训练、推理时的框架，分为两个阶段：在推理阶段，MLLM从原始视频形成空间假设；在重推理阶段，通过观察合成的新视角视频来验证或修正假设。为了有效实现跨视角重访，我们设计了几何到视频的管道，从预测的3D几何体渲染出战略性互补的新视角。这些视角具有较高的斜视角覆盖场景，同时保持MLLM的原生视频接口而无需架构修改。对VSI-Bench和STI-Bench的广泛评估表明，ReRe显著提升了开源MLLM的性能，达到与专有最先进技术相媲美的水平。
🔬 方法详解
问题定义：本论文旨在解决自我中心视频中的空间推理问题，现有方法在处理几何模糊性时依赖单轮推理，导致推理结果的局限性。
核心思路：提出的ReRe框架允许在获得新视角后对初步推理结果进行修正，从而提高推理的灵活性和准确性。
技术框架：ReRe框架分为两个主要阶段：推理阶段和重推理阶段。在推理阶段，MLLM从原始视频中生成空间假设；在重推理阶段，通过合成的新视角视频来验证或修正该假设。
关键创新：ReRe的核心创新在于引入了跨视角重访的概念，使得模型能够在获取新证据后修正之前的推理结果，这与传统方法的单轮推理形成鲜明对比。
关键设计：设计了几何到视频的管道，从预测的3D几何体中渲染出互补的新视角，确保新视角具有较高的覆盖率，并保持MLLM的原生视频接口，避免了对模型架构的修改。具体的参数设置和损失函数设计未在摘要中详细说明，可能需要查阅完整论文以获取更多细节。
🖼️ 关键图片
📊 实验亮点
在VSI-Bench和STI-Bench上的实验结果显示，ReRe框架使得开源MLLM的性能显著提升，达到与专有最先进技术相媲美的水平，具体提升幅度未在摘要中给出，需参考完整论文。
🎯 应用场景
该研究的潜在应用领域包括自动驾驶、机器人导航和增强现实等场景，能够提升系统在复杂环境中的空间理解能力。通过改进空间推理，未来可能实现更智能的决策支持和人机交互，具有重要的实际价值。
📄 摘要（原文）
Spatial reasoning from egocentric videos is inherently challenging because the observable evidence is constrained by the camera trajectory. Existing methods rely on single-turn inference, forcing models to resolve geometric ambiguity through semantic priors rather than verifiable evidence. We argue that spatial reasoning should be revisitable: conclusions formed under limited evidence should remain open to revision when complementary viewpoints become available. Building on this insight, we propose Reason, then Re-reason (ReRe), a training-free, inference-time framework with two phases: in the Reason Phase, an MLLM forms a spatial hypothesis from the original video; in the Re-reason Phase, it verifies or revises the hypothesis by observing a synthesized novel-view video. To enable effective cross-view revisiting, we design a Geometry-to-Video pipeline that renders strategically complementary novel views from predicted 3D geometry. These views feature an elevated, oblique perspective with scene-spanning coverage, while preserving the MLLM's native video interface without architectural modifications. Extensive evaluations on VSI-Bench and STI-Bench demonstrate that ReRe substantially boosts open-source MLLMs to rival proprietary state-of-the-art performance. Project page: https://zhenjiemao.github.io/ReRe/