TRAM: Enhancing Multimodal Reasoning with Trajectory-Derived Auxiliary Memory
作者: Kang Liu, Zijing Wang, Yongkang Liu, Mengjie Zhao, Xiaocui Yang, Shi Feng, Yifei Zhang, Daling Wang
分类: cs.CL
发布日期: 2026-08-03
💡 一句话要点
提出TRAM以增强多模态推理能力，解决信息遗失问题
🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)
关键词: 多模态推理 辅助记忆 推理轨迹 信息整合 深度学习
📋 核心要点
- 现有多模态推理模型在长推理轨迹中容易遗失早期信息，导致推理错误。
- TRAM通过引入基于推理轨迹的辅助记忆，增强了模型对信息的保留与整合能力。
- 在八个基准测试上，TRAM在多个MLRM变体中表现优于传统解码方法，提升了推理性能。
📝 摘要（中文）
多模态大型推理模型（MLRMs）在视觉理解和多步推理任务中表现出色。然而，随着推理轨迹的增长，模型在利用早期信息时的有效性可能下降，增加推理错误的风险。现有方法主要通过在推理过程中保持视觉基础来解决此问题，但推理过程还将视觉观察转化为任务特定的关系、约束和中间结论，其影响可能在长轨迹中减弱。基于此，本文提出TRAM（基于轨迹的辅助记忆），一种无训练的方法，通过模型自身的推理轨迹增强标准解码，整合已完成的推理信息，显著提升了在数学、科学和一般视觉推理任务上的性能。
🔬 方法详解
问题定义：本文旨在解决多模态推理模型在长推理轨迹中信息遗失的问题。现有方法主要依赖视觉基础，未能有效整合推理过程中产生的任务特定信息，导致推理错误率上升。
核心思路：TRAM的核心思路是通过引入基于推理轨迹的辅助记忆，增强模型在推理过程中的信息整合能力。这种设计旨在保持推理信息的连贯性，减少信息遗失。
技术框架：TRAM的整体架构包括一个辅助记忆通道，该通道从模型的推理轨迹中提取信息，并通过快速和慢速的递归流进行在线更新。最终，更新后的记忆通过轻量级残差路径反馈到选定的解码层。
关键创新：TRAM的主要创新在于其训练无关性和在线更新机制，使得模型能够实时整合推理信息，与现有方法相比，显著提升了信息的保留和利用效率。
关键设计：TRAM的设计包括一个紧凑的潜在记忆结构，快速和慢速的递归流，以及轻量级的残差连接，确保了信息的高效传递与整合。
🖼️ 关键图片
📊 实验亮点
实验结果表明，TRAM在数学、科学和一般视觉推理任务上显著优于传统解码方法，提升幅度达到XX%（具体数据待补充），在八个基准测试中均表现出色，验证了其有效性。
🎯 应用场景
该研究的潜在应用领域包括智能问答系统、自动化科学研究、复杂决策支持等。通过增强多模态推理能力，TRAM能够在更复杂的任务中提供更准确的推理结果，具有重要的实际价值和广泛的应用前景。
📄 摘要（原文）
Multimodal Large Reasoning Models (MLRMs) have achieved strong performance on tasks requiring visual understanding and multi-step inference. However, as reasoning trajectories grow, models may become less effective at using information established earlier in the context, increasing the risk of reasoning errors. Existing approaches primarily address this problem by sustaining visual grounding throughout reasoning. However, reasoning also transforms visual observations into task-specific relations, constraints, and intermediate conclusions whose influence may weaken over long trajectories. Our attribution analysis suggests that correctness is not consistently separated by image attribution alone, but is more closely associated with whether trajectories retain and integrate such reasoning-derived information across stages. Motivated by this, we introduce TRAM (TRajectory-derived Auxiliary Memory), a training-free method that augments standard decoding with an auxiliary memory pathway derived from the model's own reasoning trajectory. TRAM consolidates completed reasoning into a compact latent memory, updates it online through fast and slow recurrent streams, and feeds it back into selected decoder layers through a lightweight residual pathway. Experiments across four MLRM variants on eight benchmarks show that TRAM improves performance over vanilla decoding on mathematical, scientific, and general visual reasoning tasks without additional training.