Beyond Correctness: Benchmarking and Aligning Response Behaviors in Hybrid-Thinking MLLMs
作者: Xinming Wang, Weinong Wang, Hongming Yang, Yansong Lin, Zheng Ruan, Shangpin Peng, Qiming Peng, Nan Qiao, Fengyuan Lu, Guoqing Ma, Marito Li, Songyang Zhang, Saiyong Yang, Han Hu, Yonglong Tian, Xu-Yao Zhang
分类: cs.CV
发布日期: 2026-08-13
备注: 8 tables and 6figures
💡 一句话要点
提出PatternEval和PatternRL以解决混合思维MLLM响应行为不一致问题
🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture) 支柱九：具身大模型 (Embodied Foundation Models)
关键词: 多模态大语言模型 响应模式对齐 强化学习 模式特定惩罚 用户体验提升
📋 核心要点
- 现有的混合思维多模态大语言模型在响应一致性上存在显著问题，尤其是在非思考推理模式下的响应质量较低。
- 论文提出了PatternEval基准和PatternRL模型，通过评估响应模式的对齐性和引入模式特定惩罚来解决响应行为不一致的问题。
- 实验结果显示，结合模式特定惩罚的强化学习方法能够有效减少不同推理模式之间的响应不一致性，且对任务性能影响较小。
📝 摘要（中文）
混合思维多模态大语言模型（MLLMs）允许模型在深思熟虑和高效推理之间切换。尽管这两种模式在推理预算上有所不同，但其响应应满足相同的用户标准。仅仅依靠正确性无法全面评估响应质量，因此我们引入了响应模式对齐的概念。我们提出了PatternEval，一个包含2415个多模态提示的基准，测试四种常见的响应模式失败。实验表明，不同模型的响应模式失败普遍存在，非思考推理的失败率显著更高。为了解决这一问题，我们开发了PatternRM和PatternRL，通过引入模式特定的惩罚来缓解跨模式的不一致性，同时保持任务性能的边际损失。PatternEval和PatternRL共同提供了一个评估和训练框架，以对齐混合思维接口的用户可见响应模式。
🔬 方法详解
问题定义：本论文旨在解决混合思维多模态大语言模型（MLLMs）在响应一致性方面的不足，尤其是非思考推理模式下的响应质量普遍较低，导致用户体验不佳。
核心思路：通过引入响应模式对齐的概念，论文提出了PatternEval基准来评估响应质量，并通过PatternRL模型在强化学习中引入模式特定的惩罚，以改善不同推理模式之间的响应一致性。
技术框架：整体架构包括两个主要模块：PatternEval用于评估响应模式的对齐性，PatternRL用于在训练过程中引入模式特定的惩罚，确保模型在不同推理模式下的响应行为一致。
关键创新：最重要的创新在于提出了响应模式对齐的评估方法和模式特定惩罚机制，这与传统的仅关注正确性的评估方法形成了鲜明对比，能够更全面地反映模型的响应质量。
关键设计：在PatternRL中，设计了特定的损失函数以引入模式特定的惩罚，同时在训练过程中保持任务性能的边际损失，确保模型在不同推理模式下的响应一致性。具体参数设置和网络结构细节在实验部分进行了详细描述。
🖼️ 关键图片
📊 实验亮点
实验结果表明，结合模式特定惩罚的PatternRL在Qwen3-VL-4B和Qwen3-VL-8B模型上显著降低了响应模式失败率，尤其是在非思考推理模式下，响应一致性得到了有效提升，且任务性能仅有边际损失，显示出良好的实用性。
🎯 应用场景
该研究的潜在应用领域包括智能助手、自动问答系统和多模态交互界面等。通过提升混合思维模型的响应一致性，能够显著改善用户体验，增强模型在实际应用中的可靠性和有效性。未来，该方法也可扩展到其他类型的多模态学习任务中，推动相关技术的发展。
📄 摘要（原文）
Hybrid-thinking multimodal large language models (MLLMs) allow a single model to alternate between deliberative thinking and latency-efficient non-thinking inference. Although these modes differ in reasoning budget, their delivered responses should satisfy the same user-facing standard. Correctness alone may not characterize this response quality; we therefore evaluate task accuracy and response-pattern failures as complementary outcomes. We study this gap through \textbf{response-pattern alignment}: whether thinking and non-thinking interfaces preserve acceptable final-response behavior. We introduce \textbf{PatternEval}, a failure-enriched diagnostic benchmark comprising 2,415 multimodal prompts spanning visual perception and grounding, structured image understanding, and multimodal knowledge reasoning. PatternEval tests four recurrent failures: chain-of-thought leakage, response repetition, logical contradiction, and performative reasoning. Response-pattern failures are widespread across models from different providers, with non-thinking inference exhibiting substantially higher failure rates and thereby creating systematic misalignment between thinking and non-thinking interfaces. Motivated by this diagnosis, we develop \textbf{PatternRM}, a response-level reward model, and \textbf{PatternRL}, which introduces pattern-specific penalties during reinforcement learning. Experiments on Qwen3-VL-4B and Qwen3-VL-8B show that incorporating pattern-specific penalties into reinforcement learning can mitigate cross-mode misalignment while incurring a marginal task performance trade-off. Together, PatternEval and PatternRL provide an evaluation-and-training framework for aligning user-visible response patterns across hybrid-thinking interfaces.