SVoT: State-aware Visualization-of-Thought for Spatial Reasoning via Reinforcement Learning

📄 arXiv: 2606.11770v1 📥 PDF

作者: Chao Lei, Yanbei Jiang, Markus Hiller, Zhijian Zhou, Xunye Tian, Krista A. Ehinger, Nir Lipovetzky

分类: cs.AI

发布日期: 2026-06-10

💡 一句话要点

提出SVoT以解决多模态大语言模型的空间推理问题

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture) 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 空间推理 多模态大语言模型 强化学习 可视化思维 转移推理 奖励设计 多对象交互 数值推理

📋 核心要点

  1. 现有方法在空间推理中未能有效验证中间状态，导致多跳推理的可靠性不足。
  2. 本文提出的SVoT框架通过生成可验证的中间状态和可视化，增强了模型的推理能力。
  3. SVoT在新建立的领域中表现出色，相较于基线模型在分布外测试集上提升了65%的准确率。

📝 摘要（中文）

空间推理对于多模态大语言模型（MLLMs）仍然是一个挑战，因为它需要对中间状态和状态转移进行可靠的多跳推理。现有研究通常未验证中间状态，并将状态转移视为隐式过程，这限制了多跳空间推理的可靠性。为此，本文提出了状态感知的思维可视化（SVoT），这是一个生成可交错、可验证的中间状态和可视化的强化学习框架。SVoT将转移推理链集成到生成过程中，使模型能够通过交错的文本和视觉推理来验证动作前提和效果。通过群体相对策略优化（GRPO）训练SVoT，实例化验证通过奖励设计，并评估不同细粒度奖励的有效性。我们建立了五个领域，通过扩展经典环境并引入两个新领域（Pacman和Gather），支持多对象交互和数值推理。这些领域支持对多跳空间推理的系统评估，并对生成的中间状态和转移推理进行定量验证。SVoT在引入的领域中实现了最先进的性能，在分布外测试集上获得了高达65%的绝对准确率提升。

🔬 方法详解

问题定义：本文旨在解决多模态大语言模型在空间推理中对中间状态和状态转移的验证不足问题。现有方法往往将状态转移视为隐式过程，导致推理的可靠性降低。

核心思路：SVoT框架通过生成可交错的中间状态和可视化，结合转移推理链，增强了模型对动作前提和效果的验证能力。这样的设计使得推理过程更加透明和可靠。

技术框架：SVoT的整体架构包括状态生成模块、可视化模块和奖励设计模块。状态生成模块负责生成中间状态，可视化模块则将这些状态以视觉形式呈现，而奖励设计模块则通过群体相对策略优化（GRPO）进行训练和优化。

关键创新：SVoT的主要创新在于将转移推理链集成到生成过程中，使得模型能够在推理过程中实时验证状态和动作的有效性。这与现有方法的隐式处理方式形成了鲜明对比。

关键设计：在参数设置上，SVoT采用了细粒度的奖励机制，以便更好地引导模型学习。同时，网络结构设计上考虑了多模态输入的处理，确保文本与视觉信息的有效融合。具体的损失函数设计也针对中间状态的验证进行了优化。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

SVoT在新建立的Pacman和Gather领域中表现优异，相较于基线模型在分布外测试集上实现了高达65%的绝对准确率提升，展示了其在多跳空间推理中的有效性和创新性。

🎯 应用场景

该研究的潜在应用领域包括智能机器人、自动驾驶、虚拟助手等需要进行复杂空间推理的场景。通过提高多模态大语言模型在空间推理中的可靠性，SVoT能够为这些应用提供更为精准的决策支持，推动智能系统的进一步发展。

📄 摘要（原文）

Spatial reasoning remains a challenge for Multimodal Large Language Models (MLLMs), as it requires reliable multi-hop inference over both intermediate states and state transitions. Current studies often leave intermediate states unverified and treat state transitions as implicit processes, which limits reliability in multi-hop spatial reasoning. To address this, we propose State-aware Visualization-of-Thought (SVoT), a reinforcement learning framework that generates interleaved, verifiable intermediate states and visualizations. SVoT integrates transition reasoning chains into the generation processes, enabling the model to verify action preconditions and effects through interleaved textual and visual reasoning. We train SVoT via Group Relative Policy Optimization (GRPO), instantiating verification through reward design and evaluating the efficacy of different fine-grained rewards. As existing benchmarks reduce state transitions to single-variable updates, substantially simplifying the problems, we establish five domains by extending classical environments and introducing two novel domains, Pacman and Gather, that require multi-object interactions and numerical reasoning. These domains support systematic evaluation of multi-hop spatial reasoning with quantitative verification of generated intermediate states and transition reasoning. SVoT with transition-aware supervision achieves state-of-the-art performance across the introduced domains, yielding up to a 65% absolute accuracy gain on out-of-distribution test sets.