Omni-Perception Policy Optimization for Multimodal Emotion Reasoning

📄 arXiv: 2606.25325v1 📥 PDF

作者: Zhiyuan Han, Beier Zhu, Wenwen Tong, Pengyang Shao, Peipei Song, Xinyi Wang, Jiangnan Chen, Lewei Lu, Xun Yang

分类: cs.AI

发布日期: 2026-06-24

备注: Accepted at ICML 2026

💡 一句话要点

提出OPPO框架以优化多模态情感推理中的全感知能力

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture) 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 多模态情感推理 全感知 强化学习 情感分析 跨模态学习

📋 核心要点

  1. 现有的情感导向全模态大语言模型在推理过程中未能充分利用多模态线索，导致推理结果的可靠性不足。
  2. 提出OPPO框架，通过全感知奖励和全感知损失，优化多模态感知，增强推理的准确性和一致性。
  3. 实验结果显示，OPPO在多个基准测试中表现出色，尤其在利用率和真实度上有显著提升，验证了其有效性。

📝 摘要（中文）

我们发现当前情感导向的全模态大语言模型（Omni-MLLMs）在全感知能力上仍然不足：它们在推理过程中未能充分利用多模态线索，并且常常产生不真实的行为，误将某一模态的特定陈述与其他模态混淆。基于这些发现，我们提出了OPPO（全感知策略优化），这是一个强化学习框架，旨在显式优化多模态感知。首先，全感知奖励将真实推理分解为细粒度的视觉、声学和情感线索，并奖励能够语义恢复这些线索的推理轨迹。其次，全感知损失比较在完整和单模态掩蔽输入下的策略，仅对模态特定证据标记施加KL惩罚，以抑制跨模态幻觉。实验表明，OPPO在MER-UniBench和MME-Emotion上达到了最先进的性能，同时在MEP-Bench上显著提高了利用率和真实度分数，强调了充分且真实的全感知在多模态情感推理中的重要性。

🔬 方法详解

问题定义：本论文旨在解决当前多模态情感推理中全模态感知不足的问题，现有方法在推理过程中未能有效利用多模态信息，导致结果不可靠。

核心思路：论文提出OPPO框架，通过引入全感知奖励和全感知损失，显式优化多模态感知能力，旨在提升推理的准确性和一致性。

技术框架：OPPO框架主要包括两个模块：全感知奖励模块和全感知损失模块。全感知奖励模块将真实推理分解为视觉、声学和情感线索，并对能够恢复这些线索的推理轨迹进行奖励；全感知损失模块则通过比较完整输入和单模态掩蔽输入下的策略，抑制跨模态幻觉。

关键创新：OPPO的核心创新在于引入了全感知奖励和全感知损失机制，能够有效地解决多模态推理中的信息利用不足和不真实行为问题，与现有方法相比具有显著的优势。

关键设计：在全感知奖励中，细粒度的视觉、声学和情感线索被明确分解并量化；在全感知损失中，仅对模态特定证据标记施加KL惩罚，以减少跨模态的错误推理。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果表明，OPPO在MER-UniBench和MME-Emotion基准测试中达到了最先进的性能，利用率和真实度分数在MEP-Bench上显著提高，验证了其在多模态情感推理中的有效性和重要性。

🎯 应用场景

该研究的潜在应用领域包括情感分析、智能客服、社交机器人等，能够提升多模态系统在情感理解和交互中的表现。未来，OPPO框架有望推动情感计算和人机交互的进一步发展，提升系统的智能化水平和用户体验。

📄 摘要（原文）

We find that current emotion-oriented Omni-MLLMs still lack reliable omni-modal perception: they (i) underutilize multimodal cues in their reasoning trajectories and (ii) exhibit unfaithful behavior, often hallucinating modality-specific statements from other modalities. Building on these insights, we propose OPPO (Omni-Perception Policy Optimization), a reinforcement learning framework that explicitly optimizes multimodal perception. First, an Omni-Perception Reward decomposes ground-truth reasoning into fine-grained visual, acoustic, and emotion cues and rewards trajectories that semantically recover these cues. Second, an Omni-Perception Loss compares the policy under full and unimodally masked inputs, applying a KL penalty only to modality-specific evidence tokens to suppress cross-modal hallucination. We further introduce MEP-Bench, a diagnostic benchmark that quantifies utilization and faithfulness. Experiments show that OPPO achieves state-of-the-art performance on MER-UniBench and MME-Emotion, while substantially improving utilization and faithfulness scores on MEP-Bench, highlighting the importance of sufficient and faithful omni perception for multimodal emotion reasoning.