PonderPounce: A Pretrained MLLM as an Episode Context Engine for Robot Control
作者: Suhwan Choi, Jaeyoon Jung, Sungkyung Kim, Yunsung Lee, Youngjae Yu
分类: cs.RO, cs.AI
发布日期: 2026-08-25
备注: Project page: https://worv-ai.github.io/ponderpounce/
💡 一句话要点
提出PonderPounce以解决机器人控制中的上下文记忆问题
🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)
关键词: 多模态大语言模型 机器人控制 上下文记忆 视觉-语言-动作 实时决策 自主学习 认知推理
📋 核心要点
- 现有的视觉-语言-动作模型未能有效利用上下文能力作为情节记忆，导致机器人控制中的决策能力受限。
- PonderPounce通过重用多模态大语言模型的因果上下文，设计了一个新的机器人控制框架，提升了记忆的使用效率。
- 在RoboMME和RoboCasa-DC的实验中，PonderPounce的性能显著优于现有基线，展示了其在机器人控制中的有效性。
📝 摘要（中文）
多模态大语言模型（MLLMs）能够整合长时间的视觉历史，进行部分可观察性推理，并从少量示例中推断行为。然而，现有的视觉-语言-动作（VLA）模型通常继承预训练的表示，而未能利用这种上下文能力作为情节记忆。PonderPounce通过重用MLLM的原生因果上下文作为机器人记忆，提出了一种新方法。Ponder作为System2 MLLM，积累情节观察、演示和先前认知，并生成内部使用的子目标文本和演示推理；而Pounce作为System1 VLA，直接接收当前观察、指令和本体感知。两者通过Ponder-Pounce接口异步接收最新的连续认知令牌及其年龄，且无需专门的记忆模块或单独的桥接预训练。实验结果表明，PonderPounce在RoboMME和RoboCasa-DC上表现优异，显著超越了现有基线。
🔬 方法详解
问题定义：本论文旨在解决机器人控制中上下文记忆的不足，现有方法未能有效利用视觉-语言-动作模型的上下文能力，导致决策效率低下。
核心思路：PonderPounce通过重用多模态大语言模型的因果上下文作为机器人记忆，设计了一个新的控制框架，能够更好地积累和利用情节信息。
技术框架：整体架构包括两个主要模块：Ponder和Pounce。Ponder作为System2 MLLM，负责积累观察和推理；Pounce作为System1 VLA，直接处理当前的观察和指令。两者通过Ponder-Pounce接口进行异步交互。
关键创新：PonderPounce的创新在于不需要专门的记忆模块或单独的桥接预训练，而是利用MLLM的原生因果上下文进行联合训练，显著提升了记忆的使用效率。
关键设计：在参数设置上，Ponder和Pounce的训练采用了端到端的优化策略，损失函数设计考虑了认知刷新和动作模型调用的延迟，确保了高效的实时响应。
🖼️ 关键图片
📊 实验亮点
在RoboMME数据集上，PonderPounce在9B模型下达到了60.83%的准确率，显著高于44.51%的FrameSamp+Modul基线。在RoboCasa-DC上，PonderPounce在仅依赖动作监督的情况下达到了12.5%的性能，超越了现有的最强基线，展示了其在机器人控制中的有效性。
🎯 应用场景
该研究的潜在应用领域包括自主机器人、智能家居和人机交互等场景。通过提升机器人在复杂环境中的决策能力，PonderPounce有望在实际应用中实现更高的智能化水平，推动机器人技术的发展。
📄 摘要（原文）
Multimodal large language models (MLLMs) can integrate long visual histories, reason under partial observability, and infer behavior from a few examples. Yet vision-language-action (VLA) models generally inherit pretrained representations without using this contextual capacity as episode memory. Memory-dependent policies address this gap through purpose-built history mechanisms. PonderPounce instead reuses an MLLM's native causal context as robot memory. Ponder, a System2 MLLM, accumulates episode observations, demonstrations, and prior cognition in its native causal context and can generate subgoal text and demonstration reasoning for internal use. Pounce, a System1 VLA, receives the current observation, instruction, and proprioception directly; through the Ponder--Pounce interface, it asynchronously receives only the newest continuous cognition token and its age. Both are jointly trained end to end without a purpose-built memory module or separate bridge pretraining. Optimized serving achieves p50 latencies of 78ms for cognition refresh and 25ms for action-model invocation, supporting 20Hz action playback. On RoboMME with base-scale training data, PonderPounce reaches 60.83% with 9B and 50.04% with 0.8B under the same Pounce architecture and interface, versus 44.51% for FrameSamp+Modul and 17.93% for the current-observation π_{0.5}. With 9x data, it reaches 75.54% versus 57.88% for FrameSamp+Modul. On RoboCasa-DC, the same interface learns from action supervision alone and reaches 12.5% versus 11.6% for the strongest published demonstration-conditioned baseline, falling to 8.6% when cognition is replaced by a learned null state.