Debias in Text, Believe Your Eyes: Text-Anchored Cross-Modal Transfer for Visual Counter-Commonsense Reasoning

📄 arXiv: 2608.06938v1 📥 PDF

作者: Chen Ling, Hanqian Li, Dongnan Liu, Keyu Qian, Jungang Li, Xinglong liu, Shiyi Wang, Xin Dong, Pengcheng Zhu, Wei Zhou, Linjian Mo, Nai Ding

分类: cs.CV, cs.AI

发布日期: 2026-08-07

💡 一句话要点

提出文本锚定的跨模态转移方法以解决视觉反常识推理问题

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture) 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 多模态大型语言模型 反常识推理 文本锚定 事实频率蒸馏 跨模态转移 视觉推理 去偏技术

📋 核心要点

  1. 现有方法主要通过增强视觉输入来提升反常识推理能力，但实证分析显示瓶颈在于语言解码器的先验偏向，而非视觉感知。
  2. 本文提出文本锚定的数据构建管道和TACT框架，通过事实频率蒸馏来优化语言解码器，解决先验与证据的冲突。
  3. 在多个反常识视觉基准测试中，TACT显著提升了视觉推理能力，同时保持了模型的通用能力，展示了有效的文本到视觉的跨模态转移。

📝 摘要（中文）

多模态大型语言模型（MLLMs）的视觉推理能力对下游应用至关重要，尤其是在反常识推理中。现有研究主要通过增强视觉输入来改善视觉反常识推理，假设失败源于视觉基础不足。然而，实证分析表明瓶颈并非视觉感知，而是共享语言解码器在处理先前证据冲突时偏向主导语言先验。为此，本文提出了一种文本锚定的数据构建管道，核心组件为事实频率蒸馏（FFD），用于估计常识事实的先验强度并提炼高质量文本语料。基于此语料，本文引入了TACT框架，旨在无须视觉训练数据的情况下对共享语言解码器进行去偏。TACT将证据驱动和先验驱动的推理路径分为不同的优化阶段，从而有效解决先验与证据的冲突。

🔬 方法详解

问题定义：本文旨在解决多模态大型语言模型在视觉反常识推理中的先验偏向问题。现有方法假设视觉输入不足，然而实证分析表明，模型已捕获相关视觉证据，问题在于语言解码器的先验偏向。

核心思路：提出文本锚定的数据构建管道和TACT框架，通过事实频率蒸馏（FFD）来优化语言解码器，减少先验与证据之间的冲突。这样设计是为了提升模型在反常识推理中的表现，而无需依赖额外的视觉训练数据。

技术框架：整体架构包括数据构建管道和后训练框架。数据构建管道通过FFD提炼高质量文本语料，TACT框架则将证据驱动和先验驱动的推理路径分为不同的优化阶段。

关键创新：最重要的创新在于引入了FFD技术，通过估计常识事实的先验强度，优化了语言解码器的推理过程。这与现有方法的本质区别在于不再依赖视觉数据进行训练。

关键设计：在TACT框架中，设计了不同的优化阶段以处理证据和先验推理，确保模型能够有效地解决先验与证据的冲突。具体的损失函数和网络结构细节在论文中进行了详细描述。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果表明，TACT在多个反常识视觉基准测试中显著提升了视觉推理能力，具体性能提升幅度达到XX%（具体数据需参考原文），同时保持了模型的通用能力，展示了有效的文本到视觉的跨模态转移。

🎯 应用场景

该研究的潜在应用领域包括智能问答系统、自动内容生成和人机交互等。通过提升模型在反常识推理中的表现，能够更好地理解和生成符合现实的文本内容，进而提高用户体验和系统的智能水平。未来，该方法可能在更广泛的多模态应用中发挥重要作用。

📄 摘要（原文）

The visual reasoning ability of multimodal large language models (MLLMs) is crucial for downstream applications, particularly counter-commonsense reasoning, which requires models to reason beyond common assumptions. Recent studies mainly improve visual counter-commonsense reasoning by enhancing visual inputs, following the assumption that failures originate from insufficient visual grounding. However, our empirical analysis reveals that the bottleneck is not visual perception. MLLMs already capture the relevant visual evidence, and the correct answer exists in their decoding space. Instead, the shared language decoder resolves prior--evidence conflicts by favoring dominant language priors, especially for low-frequency factual scenarios. Motivated by this, we first propose a text-anchored data construction pipeline, whose core component, Fact-Frequency Distillation (FFD), estimates the prior strength of commonsense facts and distills verified counter-commonsense scenarios into a high-quality text corpus. Building upon this corpus, we introduce TACT, a text-anchored post-training framework that debiases the shared language decoder without requiring any visual training data. TACT routes evidence-following and prior-driven reasoning trajectories into different optimization stages, enabling the decoder to resolve prior--evidence conflicts. Across counter-commonsense visual benchmarks, TACT substantially improves visual reasoning while preserving general capabilities, demonstrating effective text-to-vision cross-modal transfer.