Multimodal Continuous Reasoning via Asymmetric Mutual Variational Learning

📄 arXiv: 2607.00461v1 📥 PDF

作者: Shijie Li, Yilin Gao, Siyuan Yang, Tieyuan Chen, Chaofan Gan, Zhihao He, Zicheng Zhao, Yuyu Guo, Weiyao Lin, Hang Yu

分类: cs.CV

发布日期: 2026-07-01

💡 一句话要点

提出非对称互变分布学习以解决多模态推理瓶颈问题

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 多模态推理 变分学习 KL散度 视觉理解 深度学习 模型校准 潜在空间

📋 核心要点

  1. 现有多模态大型语言模型在处理复杂视觉推理时受到语言空间瓶颈的限制，导致信息损失和推理能力下降。
  2. 本文提出的非对称互变分布学习（AMVL）通过双向校准目标解决训练与推理之间的不匹配，增强了推理的连贯性。
  3. AMVL在复杂BLINK基准上表现优异，平均提升10.83分，个别任务提升高达32.00分，显示出显著的性能改善。

📝 摘要（中文）

多模态大型语言模型（MLLMs）常受到语言空间瓶颈的限制，导致复杂的视觉推理被迫转化为离散的标记，从而丧失感知细微差别。本文提出非对称互变分布学习（AMVL），通过双向校准目标解决训练与推理之间的严重不匹配问题。该方法通过前向KL散度训练目标无关的先验，使其与后验匹配，同时利用新颖的反向KL散度正则化后验，防止其崩溃到与推理不兼容的区域。实验结果表明，AMVL在复杂的BLINK基准上平均提升10.83分，并在个别推理任务上最高提升32.00分，验证了潜在空间的稳定性。

🔬 方法详解

问题定义：本文旨在解决多模态大型语言模型在复杂视觉推理中由于语言空间瓶颈导致的推理能力下降问题。现有方法在训练和推理阶段存在严重不匹配，后验依赖于真实答案而导致推理时信息缺失。

核心思路：提出非对称互变分布学习（AMVL），通过前向和反向KL散度的双向校准目标，解决训练与推理之间的匹配问题，确保推理过程中的信息一致性。

技术框架：AMVL框架包括两个主要模块：前向KL散度用于训练目标无关的先验，使其与后验匹配；反向KL散度用于正则化后验，防止其进入不兼容的推理区域。

关键创新：AMVL的核心创新在于引入双KL散度目标，解决了现有方法中后验依赖真实答案导致的“答案泄漏”问题，确保推理的稳定性和一致性。

关键设计：在损失函数中，前向KL散度和反向KL散度的平衡设计至关重要，确保模型在训练时能够有效学习潜在空间的结构，同时避免过拟合和信息泄漏。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果显示，AMVL在复杂BLINK基准上平均提升10.83分，个别推理任务最高提升32.00分，显著优于强基线模型，验证了其在多模态推理中的有效性和优势。

🎯 应用场景

该研究具有广泛的应用潜力，尤其在需要复杂视觉推理的领域，如自动驾驶、机器人视觉和智能监控等。通过提升多模态推理的准确性和稳定性，AMVL能够为这些领域的智能系统提供更强的支持，推动相关技术的发展和应用。

📄 摘要（原文）

Multimodal Large Language Models (MLLMs) are often constrained by a language-space bottleneck, forcing complex visual reasoning into discrete tokens which can lose perceptual nuance. A promising alternative is continuous latent reasoning, where the goal is to discover implicit reasoning pathways that bridge the multimodal query and the final answer. However, this introduces a severe train-inference mismatch: a training-time posterior, conditioned on the ground-truth answer, can exploit answer-dependent shortcuts. Standard variational training then forces the inference-time prior to mimic a posterior that has access to information unavailable at test time, leading to poor performance. To address this, we propose Asymmetric Mutual Variational Learning (AMVL), a framework that resolves this mismatch via a bidirectional calibration objective. A forward KL divergence trains the target-agnostic prior to match the posterior, while a novel reverse KL divergence simultaneously regularizes the posterior, preventing it from collapsing into inference-incompatible regions and mitigating this ``answer leakage''. We provide theoretical analysis formalizing this leakage as prior contamination and prove that our dual-KL objective reduces it. We instantiate AMVL in a latent-integrated MLLM and show that it consistently outperforms strong discrete and latent-reasoning baselines, improving the average score on the complex BLINK benchmark by +10.83 and achieving gains of up to +32.00 on individual reasoning tasks, with analyses confirming improved latent-space stability.