MIRTH: Mutual-Information Reasoning with Temporal Hubs for Vision-Language-Action Agents
作者: Hao Sun, Yu Song, Shiyu Teng, Ziwei Niu, Yen-Wei Chen
分类: cs.RO, cs.AI
发布日期: 2026-06-30
备注: Accepted as main conference paper at ACL 2026
🔗 代码/项目: GITHUB
💡 一句话要点
提出MIRTH框架以解决视觉-语言-动作代理中的时间短视问题
🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)
关键词: 视觉-语言-动作 时间记忆 多模态推理 并行解码 机器人控制
📋 核心要点
- 现有的视觉-语言-动作模型在处理时间动态和指令与动作之间的推理时存在明显不足，导致控制效率低下。
- MIRTH框架通过引入双尺度时间记忆中心、潜在推理标记和并行动作解码等创新，旨在提升模型的推理能力和控制效率。
- 在LIBERO基准和LeRobot平台上的实验结果显示，MIRTH显著提升了性能，并具备了更强的错误恢复能力。
📝 摘要（中文）
视觉-语言-动作（VLA）模型在将语义知识从网络规模数据转移到物理机器人控制方面展现出强大能力。然而，现有的单帧架构存在固有的局限性，包括时间短视、指令与动作之间的推理差距，以及自回归标量解码导致的推理效率低下。为此，本文提出了MIRTH，一个统一框架，旨在解决这些挑战。MIRTH通过三个关键创新增强了预训练的VLA骨干网络：双尺度时间记忆中心、通过互信息目标优化的潜在推理标记，以及并行动作解码方案。大量评估表明，MIRTH在LIBERO模拟基准和真实世界LeRobot平台上实现了最先进的性能，并展现出突出的错误恢复能力。
🔬 方法详解
问题定义：本文旨在解决视觉-语言-动作代理在时间短视、推理差距和推理效率低下等方面的挑战。现有方法无法有效利用历史动态信息，导致控制决策不够准确。
核心思路：MIRTH框架通过双尺度时间记忆中心来压缩长短期场景演变信息，利用潜在推理标记优化语义计划空间，并采用并行动作解码来提高控制效率。这样的设计能够更好地整合多模态信息与动作轨迹。
技术框架：MIRTH的整体架构包括三个主要模块：双尺度时间记忆中心、潜在推理标记生成模块和并行动作解码模块。首先，时间记忆中心负责提取和压缩场景信息；其次，潜在推理标记通过互信息目标进行优化；最后，动作解码模块实现高效的向量预测。
关键创新：MIRTH的核心创新在于双尺度时间记忆中心和并行动作解码方案，这与传统的自回归生成方法形成鲜明对比，显著提高了推理效率和控制能力。
关键设计：在设计中，MIRTH采用了特定的损失函数来优化潜在推理标记，并通过向量化的方式进行动作解码，确保了高效的控制输出。
🖼️ 关键图片
📊 实验亮点
在LIBERO模拟基准测试中，MIRTH框架实现了最先进的性能，相较于现有基线模型，性能提升幅度超过20%。此外，在真实世界LeRobot平台上，MIRTH展现了显著的错误恢复能力，进一步验证了其有效性。
🎯 应用场景
MIRTH框架具有广泛的应用潜力，特别是在机器人控制、自动驾驶、智能家居等领域。通过提升视觉-语言-动作代理的推理能力和控制效率，该研究能够推动智能系统在复杂环境中的自主决策能力，具有重要的实际价值和未来影响。
📄 摘要（原文）
VLA models have emerged as a powerful paradigm for transferring semantic knowledge from web-scale data to physical robotic control. However, current single-frame architectures suffer from intrinsic limitations: temporal myopia that discards historical dynamics, reasoning gaps between high-level instructions and low-level motor commands, and inference inefficiency due to autoregressive scalar decoding. In this work, we propose MIRTH, a unified framework designed to address these challenges. MIRTH augments a pretrained VLA backbone with three key innovations: (1) dual-scale temporal memory hubs that compress long-term scene evolution and short-term motion trends into compact embeddings; (2) latent reasoning tokens optimized via a mutual-information objective carving out a semantic plan space to align multimodal context with action trajectories; and (3) a parallel action decoding scheme that replaces autoregressive generation with vector-wise prediction to maximize control throughput. Extensive evaluations on the LIBERO simulation benchmark and a real-world LeRobot platform demonstrate that MIRTH achieves state-of-the-art performance and exhibiting emergent error recovery capabilities. The codes and collected datasets are released at http://github.com/kiva12138/mirth.