CFPO: Counterfactual Policy Optimization for Multimodal Reasoning

📄 arXiv: 2606.23206v1 📥 PDF

作者: Zhangyuan Yu, Wanran Sun, Guangjing Yang, Xiaohu Wu, Qicheng Lao

分类: cs.CV, cs.CL

发布日期: 2026-06-22

备注: Accepted to ICML 2026. 17 pages

🔗 代码/项目: GITHUB

💡 一句话要点

提出CFPO以解决多模态推理中的因果学习问题

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture) 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 多模态推理 反事实学习 因果一致性 视觉语言模型 强化学习

📋 核心要点

  1. 现有的强化学习方法在多模态推理中缺乏因果学习机制，导致模型在推理时容易忽视视觉信息。
  2. 提出反事实策略优化（CFPO）框架，通过引入反事实增强机制，强化视觉与文本之间的因果一致性。
  3. 实验表明，CFPO在推理准确性上显著优于标准RL基线和最先进的感知感知方法，提升幅度在3.17%-6.25%之间。

📝 摘要（中文）

大型视觉语言模型（LVLMs）在多模态推理中展现了卓越的能力。然而，现有的强化学习（RL）范式缺乏明确的反事实增强和因果学习机制，导致严重的基础问题，如在长链推理中忽视视觉证据。为了解决这一根本缺陷，本文提出了反事实策略优化（CFPO）框架，通过最大化模型预测与反事实状态下预测之间的差异，强制执行视觉感知与文本推理之间的因果一致性。CFPO与标准算法如GRPO和DAPO无缝集成，且无需外部奖励模型或额外监督。实验结果表明，CFPO显著提高了推理的准确性，相较于标准RL基线提升3.17%-6.25%，相较于最先进的感知感知方法（PAPO）提升1.32%-2.13%。

🔬 方法详解

问题定义：本文旨在解决现有多模态推理方法中因果学习的缺失，导致模型在推理时常常忽视视觉证据，表现出幻觉漂移等问题。

核心思路：CFPO通过引入反事实增强机制，最大化模型在反事实状态下的预测差异，从而强化视觉信息与文本推理之间的因果关系，提升推理的准确性。

技术框架：CFPO框架包括反事实状态生成、策略优化和因果一致性约束三个主要模块。反事实状态通过抑制关键视觉线索生成，策略优化则通过最大化预测差异来实现。

关键创新：CFPO的核心创新在于引入了跨模态的反事实增强机制，这一机制在不依赖外部奖励模型的情况下，直接优化模型的推理能力，与现有方法相比具有本质的区别。

关键设计：在设计中，CFPO采用了标准RL算法如GRPO和DAPO，并通过特定的损失函数来实现因果一致性，确保模型在推理过程中充分利用视觉信息。具体参数设置和网络结构细节在实验部分进行了详细说明。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

CFPO在多模态推理中的实验结果显示，相较于标准强化学习基线，推理准确性提升了3.17%-6.25%，而与最先进的感知感知方法（PAPO）相比，提升幅度为1.32%-2.13%。这些结果表明CFPO在提升推理能力方面的有效性。

🎯 应用场景

该研究具有广泛的应用潜力，尤其在需要结合视觉和语言信息的任务中，如图像描述生成、视觉问答和多模态搜索等领域。CFPO的引入可能会显著提升这些应用的准确性和可靠性，推动多模态AI系统的发展。

📄 摘要（原文）

Large Vision-Language Models (LVLMs) have demonstrated remarkable capabilities in multimodal reasoning. However, prevailing reinforcement learning (RL) paradigms lack explicit counterfactual enhancement and causal learning mechanisms. This fundamental deficiency results in severe grounding failures, manifesting as a tendency to ignore visual evidence in favor of language priors or exhibiting hallucination drift during long chain-of-thought reasoning. To address this root cause, we propose CounterFactual Policy Optimization (CFPO), a novel framework that enforces causal consistency between visual perception and textual reasoning. CFPO introduces a cross-modal counterfactual enhancement mechanism, which regularizes the policy by maximizing the discrepancy between the model's predictions and those from a counterfactual state where critical visual cues are suppressed. This approach seamlessly integrates with standard algorithms like GRPO and DAPO without requiring external reward models or additional supervision. Extensive experiments demonstrate that CFPO significantly improves reasoning fidelity, achieving consistent gains of 3.17%-6.25% over standard RL baselines and 1.32%-2.13% over the state-of-the-art perception-aware method (PAPO). Code is available at https://github.com/Raven-July/CFPO.