MIRA: Reinforcing Multimodal Reasoning via Deceptive Contextual Augmentation
作者: Zhihan Yin, Jianxin Liang, Yifeng Yao, Nonghai Zhang, and Bingyue Peng, Chunguang Qie, Huishuai Zhang, Dongyan Zhao
分类: cs.CV, cs.AI
发布日期: 2026-11-02
备注: Accepted at NeurIPS 2026. 23 pages. Code: https://github.com/Hans-M-Yin/mira-neurips26
💡 一句话要点
提出MIRA以解决多模态推理中的感知-推理差距问题
🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture) 支柱九：具身大模型 (Embodied Foundation Models)
关键词: 多模态推理 欺骗性上下文 强化学习 视觉信息处理 逻辑推理 鲁棒性 自动化系统
📋 核心要点
- 现有的多模态推理方法在处理感知与推理之间的差距时存在显著不足，导致模型对误导信息的鲁棒性不足。
- MIRA通过注入欺骗性视觉上下文和引入反思机制，增强模型对错误信息的抵抗力和逻辑推理能力。
- 实验结果显示，MIRA在多个基准测试中平均提升了7%的性能，强调了主动错误恢复在鲁棒多模态推理中的重要性。
📝 摘要（中文）
尽管可验证奖励的强化学习（RLVR）在多模态推理上取得了显著进展，但现有框架存在严重的“感知-推理差距”。过度依赖看似相关的视觉标记，使得即使是微小的感知扰动也会在推理过程中传播，导致幻觉的累积。为了解决这一问题，本文提出了MIRA，一个训练框架，通过在训练过程中注入经过过滤的欺骗性视觉上下文，构建具有挑战性的“硬陷阱”，以测试模型对误导信息的鲁棒性。此外，我们引入了一种群体反思触发机制，使模型能够自主检测和纠正视觉线索与逻辑约束之间的不一致性，最终内化为内在的策略行为。实验结果表明，MIRA在多个推理和感知基准上平均提升了7%的性能，且在视觉中心基准上也表现出一致的改进。
🔬 方法详解
问题定义：本文旨在解决多模态推理中的感知-推理差距问题，现有方法过度依赖视觉标记，导致对微小扰动的敏感性，进而引发幻觉累积。
核心思路：MIRA通过在训练中引入经过过滤的欺骗性视觉上下文，构建“硬陷阱”，以增强模型对误导信息的鲁棒性，并通过反思机制提升逻辑推理能力。
技术框架：MIRA的整体架构包括数据预处理、欺骗性上下文注入、反思机制和模型训练四个主要模块。数据预处理阶段负责过滤视觉信息，欺骗性上下文注入阶段构建“硬陷阱”，反思机制则用于检测和纠正不一致性。
关键创新：MIRA的主要创新在于引入了欺骗性视觉上下文和群体反思机制，这与现有方法的被动学习方式形成鲜明对比，强调了主动错误恢复的重要性。
关键设计：在参数设置上，MIRA采用了特定的损失函数来平衡推理准确性与鲁棒性，网络结构则结合了卷积神经网络与强化学习策略，以实现更高效的学习过程。
🖼️ 关键图片
📊 实验亮点
MIRA在多个推理和感知基准测试中表现出色，平均提升了7%的性能，尤其在视觉中心基准上取得了一致的改进。这些结果表明，主动错误恢复机制在提高多模态推理的鲁棒性方面发挥了关键作用。
🎯 应用场景
MIRA的研究成果在多模态推理、计算机视觉和人机交互等领域具有广泛的应用潜力。其增强的鲁棒性和逻辑推理能力可用于自动驾驶、智能监控和虚拟助手等实际场景，提升系统的可靠性和用户体验。未来，MIRA的框架也可能为其他领域的智能系统提供新的思路。
📄 摘要（原文）
While Reinforcement Learning with Verifiable Rewards (RLVR) has significantly advanced multimodal reasoning, existing frameworks suffer from a critical "perception-reasoning gap." Due to an over-reliance on seemingly relevant visual tokens, even minor perceptual perturbations can propagate through the reasoning process, leading to compounding hallucinations. To address this issue, we propose MIRA, a training framework that improves robustness to erroneous visual contexts while enhancing logical reasoning ability. By injecting filtered, deceptive visual contexts during training, we construct challenging "hard traps" that stress-test the model's robustness to misleading information. Furthermore, we introduce a group-wise reflection-triggering mechanism that enables the model to autonomously detect and rectify inconsistencies between visual cues and logical constraints, which is ultimately internalized as an intrinsic policy behavior. Importantly, MIRA does not rely on human annotations. Experimental results across multiple reasoning and perception benchmarks show that MIRA yields an average 7% improvement on in-domain benchmarks, with consistent improvements on vision-centric benchmarks. These findings highlight that active error recovery is essential for robust multimodal reasoning. Comprehensive ablation studies and analyses further provide insights into why MIRA is effective.