Scaffolding Minds: Optimizing Latent Visual Target Representations for Multimodal Reasoning
作者: Haoqiang Kang, Yinpeng Chen, Luyang Liu, Jesper Sparre Andersen, Abhijit Ogale, Baochen Sun, Lichan Hong, Ed H. Chi
分类: cs.CV, cs.LG
发布日期: 2026-08-20
💡 一句话要点
提出Scaffolding Minds以优化多模态推理中的潜在视觉目标表示
🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture) 支柱九：具身大模型 (Embodied Foundation Models)
关键词: 潜在推理 多模态推理 强化学习 视觉编码器 优化算法 空间规划 深度学习
📋 核心要点
- 现有的潜在推理方法在监督微调阶段依赖于现成的视觉编码器，导致潜在表示与下游推理任务不够对齐。
- 提出Scaffolding Minds，通过学习专用的支撑编码器来优化潜在空间中的目标，并改进强化学习采样器的均值和方差。
- 在FrozenLake空间规划任务中，方法相较于最强基线提升了9.5%，在32x32网格地图上提升幅度达到19%。
📝 摘要（中文）
潜在推理通过两阶段训练范式推动了多模态推理：第一阶段，编码辅助图像为潜在标记以进行监督微调；第二阶段，利用强化学习进一步优化这些潜在标记。本文识别了该框架的两个关键局限性：一是在监督微调阶段，依赖现成的视觉编码器导致潜在表示不够理想；二是在强化学习阶段，现有方法仅通过确定性正则化处理潜在组件，限制了策略漂移而未能创造替代潜在轨迹。为解决这些问题，本文提出了Scaffolding Minds，学习专用的支撑编码器以优化潜在空间中的目标，并学习强化学习采样器的均值和方差。这两项改进互为补充，显著提升了性能。
🔬 方法详解
问题定义：本文旨在解决现有潜在推理框架在监督微调和强化学习阶段的局限性，特别是潜在表示的优化不足和探索能力的缺乏。
核心思路：通过引入专用的支撑编码器，优化潜在空间中的目标表示，同时改进强化学习采样器的均值和方差，以增强模型的推理能力和探索性。
技术框架：整体架构包括两个主要阶段：第一阶段为监督微调，使用支撑编码器生成潜在标记；第二阶段为强化学习，优化潜在标记并探索新的潜在轨迹。
关键创新：最重要的创新在于引入了支撑编码器和对强化学习采样器的均值与方差的学习，这与现有方法的单一正则化处理形成了本质区别。
关键设计：在模型设计中，支撑编码器的结构和损失函数经过精心设计，以确保潜在表示的优化效果，同时强化学习阶段的采样策略也进行了调整，以提高探索能力。
🖼️ 关键图片
📊 实验亮点
实验结果显示，Scaffolding Minds在FrozenLake空间规划任务中相较于最强基线提升了9.5%，在32x32网格地图上提升幅度达到19%。此外，在九个视觉中心推理基准上，平均提升幅度为5.2%。
🎯 应用场景
该研究的潜在应用领域包括机器人视觉、自动驾驶、智能助手等多模态推理任务。通过优化潜在表示，能够提升系统在复杂环境中的决策能力和适应性，具有重要的实际价值和未来影响。
📄 摘要（原文）
Latent reasoning has advanced multimodal reasoning through a two-stage training paradigm: (1) a helper image is encoded into latent tokens to teach visual chain-of-thought during a supervised fine-tuning (SFT) stage, and (2) these latent tokens are further refined with reward feedback during a reinforcement learning (RL) stage. In this paper, we identify two key limitations of this framework, one in each stage. First, the SFT stage typically relies on an off-the-shelf vision encoder to encode the helper image, yielding suboptimal latent representations that may not be well aligned with the downstream reasoning task. Second, existing RL methods treat the latent component only through deterministic regularization, which constrains policy drift but does not create alternative latent trajectories for exploration. To address these limitations, we propose Scaffolding Minds. Our approach learns a dedicated scaffolding encoder that provides an optimized target in latent space, and learns both the mean and variance of the RL sampler. We further show that these two improvements are complementary, together yielding substantial gains over strong baselines. Empirically, our method improves over the strongest latent-reasoning baseline by +9.5% on FrozenLake spatial planning, with the gain widening to +19% at 32x32 grid map, and by +5.2% on average across nine visual-centric reasoning benchmarks.