Correcting What You Cannot See: Credit Assignment for Perception Distillation in Multimodal Reasoners

📄 arXiv: 2607.28336v1 📥 PDF

作者: Feng Xiong, Leyan Xue, Hongyu Lin

分类: cs.AI

发布日期: 2026-07-30

💡 一句话要点

提出感知纠正蒸馏方法以解决多模态推理中的奖励分配问题

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture) 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 感知纠正 蒸馏训练 多模态推理 奖励分配 机器学习 贝叶斯方法 智能系统

📋 核心要点

  1. 现有的基于轨迹的蒸馏方法无法有效区分感知和推理的失败来源，导致奖励分配模糊不清。
  2. 本文提出的感知纠正蒸馏（PCD）方法，通过结合下游失败和教师-学生不一致性，识别可纠正的感知失败。
  3. 在八个基准测试中，PCD显著提升了蒸馏效果，8B 2B宏平均从44.50提升至47.28，32B 8B结果从56.94提升至61.22。

📝 摘要（中文）

在多模态推理中，基于轨迹的奖励无法明确判断失败答案是由于感知不足还是推理困难。本文提出了一种无标签的感知纠正蒸馏（PCD）方法，通过下游失败和教师-学生不一致性来识别可纠正的感知失败。PCD利用分离的感知-推理回放和均值保持权重，显著提升了多个基准测试的性能，证明了有效的多模态蒸馏不仅依赖于教师的预测，还需识别感知何时是纠正的目标。

🔬 方法详解

问题定义：本文旨在解决多模态推理中，基于轨迹的蒸馏方法无法明确判断失败答案来源的问题。现有方法的奖励分配模糊，无法有效区分感知不足与推理困难。

核心思路：提出感知纠正蒸馏（PCD）方法，通过下游失败和教师-学生不一致性作为互补证据，识别可纠正的感知失败。该方法设计为在两者均存在时加强蒸馏过程。

技术框架：PCD方法采用分离的感知-推理回放，利用均值保持权重，确保推理目标不变。整体流程包括感知阶段、推理阶段和蒸馏阶段，分别处理感知和推理任务。

关键创新：PCD的核心创新在于引入了基于贝叶斯证据组合的乘法规则，形成软与门逻辑，确保只有在存在两个证据时才进行蒸馏，从而有效提高了蒸馏的准确性。

关键设计：在参数设置上，PCD使用了分离的回放策略和均值保持权重，损失函数设计为结合下游失败和教师-学生不一致性，确保了蒸馏过程的有效性和稳定性。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果显示，PCD方法在多个基准测试中表现优异，8B 2B宏平均从44.50提升至47.28，32B 8B结果从56.94提升至61.22。此外，去除PCD和分离回放分别导致持出平均下降2.22和0.88点，证明了其有效性。

🎯 应用场景

该研究的潜在应用领域包括智能助手、自动驾驶和机器人等多模态系统。在这些应用中，准确的感知和推理能力至关重要，PCD方法能够有效提升系统的整体性能，具有重要的实际价值和未来影响。

📄 摘要（原文）

On-policy distillation provides dense supervision for multimodal reasoners, but its trajectory-level reward cannot determine whether a failed answer arose from perception or subsequent reasoning. Perception Success Rate (PSR), estimated from multiple reasonings sharing one perception, remains ambiguous because low success conflates perceptual insufficiency with reasoning difficulty. We introduce \textbf{Perception-Correction Distillation (PCD)}, a label-free method that identifies correctable perception failures using downstream failure and teacher--student disagreement as complementary witnesses. Their product, , forms a soft AND gate that strengthens distillation only when both witnesses are present. We motivate this rule through Bayesian evidence combination and show that multiplication is the unique normalized bilinear gate that vanishes when either witness is absent. PCD uses separated perception--reasoning rollouts and mean-preserving weights, leaving the reasoning objective unchanged. Across eight benchmarks, PCD improves the 8B 2B macro average from 44.50 with OPD to 47.28 and the 32B 8B result from 56.94 to 61.22. In matched 2B ablations, removing PCD and separated rollout reduces held-out average by 2.22 and 0.88 points, respectively. Effective multimodal distillation therefore depends not only on what the teacher predicts, but also on identifying when perception is the appropriate target of correction.