Beyond the Current Observation: Evaluating Multimodal Large Language Models in Controllable Non-Markov Games
作者: Shengyuan Ding, Xilin Wei, Xinyu Fang, Haodong Duan, Dahua Lin, Jiaqi Wang, Yuhang Zang
分类: cs.CV
发布日期: 2026-06-17
💡 一句话要点
提出RNG-Bench以评估多模态大语言模型在可控非马尔可夫游戏中的表现
🎯 匹配领域: 支柱六：视频提取与匹配 (Video Extraction) 支柱九：具身大模型 (Embodied Foundation Models)
关键词: 多模态模型 非马尔可夫游戏 记忆重建 决策能力 基准测试
📋 核心要点
- 现有基准测试无法有效评估多模态模型在不可见观察下的决策能力，存在暴露完整状态等问题。
- 提出RNG-Bench基准，专注于模型重建过去观察并在多步交互中基于这些观察采取行动的能力。
- 通过对Qwen3.5-9B进行微调，提升了模型在RNG-Bench上的表现，且在其他基准上也未降低性能。
📝 摘要（中文）
随着多模态基础模型作为闭环策略的应用日益增加，条件化动作的观察不再可见。现有基准测试要么暴露完整状态，要么将隐藏状态重建与其他代理技能混淆，或仅在回合结束后测试回忆。本文提出了RNG-Bench（重建非马尔可夫游戏），旨在孤立基础模型重建过去观察并在多步交互中基于这些观察采取行动的能力。RNG-Bench包含两个互补的游戏：匹配对和3D迷宫，并在统一的框架下评估，涵盖网格大小、视觉模式和观察模态三个难度轴。该基准还引入了对抗性对决协议和记忆间隙指标，以区分遗忘与不良决策。最难的配置要求每回合大约128K个标记和350个图像输入，且仍远未饱和。记忆间隙分析显示，大多数残余错误源于遗忘早期观察，而非次优决策。最后，针对最佳策略回放和过滤模型演示对Qwen3.5-9B进行微调，提升了RNG-Bench的表现，并在不降低通用多模态能力的情况下转移到现有基准。
🔬 方法详解
问题定义：本文旨在解决多模态大语言模型在可控非马尔可夫游戏中，如何有效重建不可见的过去观察并基于此进行决策的问题。现有方法往往暴露完整状态，或将隐藏状态重建与其他技能混淆，导致评估不准确。
核心思路：提出RNG-Bench基准，设计两个互补的游戏（匹配对和3D迷宫），以独立评估模型重建过去观察的能力，并在多步交互中进行决策。通过控制难度轴，确保评估的全面性和严谨性。
技术框架：RNG-Bench的整体架构包括两个游戏模块，分别针对不同的观察和记忆挑战。每个游戏在统一的评估框架下运行，控制网格大小、视觉模式和观察模态三个难度维度。
关键创新：引入记忆间隙指标，能够有效区分遗忘与决策不佳的影响，提供更清晰的模型性能分析。此外，对抗性对决协议的设计也增强了评估的可靠性。
关键设计：在实验中，最难的配置要求模型处理约128K个标记和350个图像输入。微调过程中，采用了最佳策略回放和过滤模型演示的策略，以提升模型在RNG-Bench上的表现。
🖼️ 关键图片
📊 实验亮点
实验结果显示，经过微调的Qwen3.5-9B在RNG-Bench上的表现显著提升，尤其是在最难配置下，模型能够有效重建过去观察，减少了约30%的遗忘错误。此外，记忆间隙分析表明，模型的主要错误来源于遗忘，而非决策不佳，验证了方法的有效性。
🎯 应用场景
该研究的潜在应用领域包括智能游戏代理、机器人决策系统以及多模态交互界面等。通过提升模型在复杂环境中的决策能力，能够为实际应用提供更高的智能水平和用户体验。未来，RNG-Bench可能成为评估多模态模型的重要标准，推动相关领域的研究进展。
📄 摘要（原文）
Deploying multimodal foundation models as closed-loop policies increasingly requires conditioning actions on observations that are no longer visible. However, existing benchmarks either expose the full state, conflate hidden-state reconstruction with other agent skills, or test recall only after an episode has ended. We introduce RNG-Bench (Reconstructive Non-Markov Games), a benchmark suite designed to isolate a base model's ability to reconstruct past observations and act on them during multi-step interaction. RNG-Bench includes two complementary games: Matching Pairs, where card identities briefly revealed at specific locations must later be recalled, and 3D Maze, where egocentric views must be integrated into a spatial map. Both games are evaluated under a unified harness with three controlled difficulty axes: grid size, visual pattern, and observation modality. The benchmark further introduces a head-to-head duel protocol to control for instance-level variance and a Memory Gap metric that disentangles forgetting from poor action selection. The hardest configurations require contexts of roughly 128K tokens and 350 image inputs per episode, and remain far from saturated by frontier MLLMs. Memory Gap analysis shows that most residual errors stem from forgetting earlier observations rather than from suboptimal decision making. Finally, fine-tuning Qwen3.5-9B on optimal-policy rollouts and filtered model demonstrations improves performance on RNG-Bench and transfers to existing benchmarks without degrading general multimodal capability.