M$^3$R-Bench: A Unified Benchmark for Evidence-Grounded Multimodal Metaphor Understanding

📄 arXiv: 2608.05817v1 📥 PDF

作者: Hong Jiang, Junnan Zhu, Jingwang Huang, Xiao Sun, Yuming Yang, Jiang Zhong, Ruirui Chen, Jingman Shi, Hao Wu, Nayu Liu, Xinyi Jiang, Kaiwen Wei

分类: cs.CL

发布日期: 2026-08-06

备注: 6 figures and 5 tables. Hong Jiang, Junnan Zhu, and Jingwang Huang contributed equally. Jiang Zhong and Kaiwen Wei are corresponding authors. Code and data are available at https://github.com/hongshi4/M3R-Bench

🔗 代码/项目: GITHUB

💡 一句话要点

提出M$^3$R-Bench以解决多模态隐喻理解中的证据不足问题

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture) 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 多模态隐喻理解 证据基础推理 隐喻理论 跨模态映射 模型评估 强化学习 课程学习 自然语言处理

📋 核心要点

  1. 现有隐喻理解方法主要通过孤立子任务评估，缺乏基于证据的解释，导致模型难以准确建立目标-源映射。
  2. 本文提出M$^3$R-Bench基准，包含1000个图像-文本实例，提供隐喻发生、目标-源映射等的联合注释，增强模型的推理能力。
  3. 实验表明，M$^3$R-Reasoner在仅使用8B参数的情况下，超越了更大模型的表现，显著提升了视觉证据和情感合理性评分。

📝 摘要（中文）

隐喻通过跨领域映射帮助理解抽象概念，并传达情感态度。在多模态场景中，视觉和文本信息共同构建目标-源映射，需进行概念理解和跨模态推理。然而，现有基准主要通过孤立子任务评估隐喻理解，缺乏基于证据的解释，难以评估模型是否建立了基于视觉和文本线索的映射。为此，本文提出M$^3$R-Bench，一个统一且基于证据的基准，包含1000个经过人工验证的图像-文本实例。基于概念隐喻理论，M$^3$R-Bench提供隐喻发生、目标-源映射、情感及逐步解释的联合注释。评估结果显示，现有模型常常忽视视觉证据，依赖表面文本线索，导致目标-源映射不准确。为解决这一问题，提出M$^3$R-Reasoner，结合课程学习推理监督与任务感知强化学习，提升模型推理与隐喻解释的一致性。

🔬 方法详解

问题定义：本文旨在解决现有隐喻理解方法在多模态场景中缺乏基于证据的解释和准确的目标-源映射的问题。现有方法往往忽视视觉证据，导致推理不准确。

核心思路：提出M$^3$R-Bench基准，通过提供联合注释和逐步解释，帮助模型更好地理解隐喻的跨模态映射。同时，设计M$^3$R-Reasoner，通过课程学习与强化学习结合，提升模型的推理能力。

技术框架：整体架构包括数据集构建、模型训练和评估三个主要阶段。数据集提供多模态实例及其注释，模型训练结合课程学习和强化学习，评估则通过多项指标衡量模型表现。

关键创新：M$^3$R-Bench的联合注释和逐步解释是其核心创新，能够有效地评估模型在隐喻理解中的表现，解决了传统方法的不足。M$^3$R-Reasoner的设计使得模型推理与隐喻解释更加一致。

关键设计：在模型设计中，采用了课程学习策略以逐步引导模型学习复杂的隐喻理解任务，同时使用强化学习优化推理过程，确保模型能够有效利用视觉和文本证据。损失函数的设计也考虑了多模态信息的融合。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果显示，M$^3$R-Reasoner在仅使用8B参数的情况下，超越了更大模型的表现，视觉证据和情感合理性评分分别提高了28.45和30.11分，且在平均评分上超越Claude-Sonnet-4.6达8.00分，展现了显著的性能提升。

🎯 应用场景

该研究的潜在应用领域包括自然语言处理、计算机视觉和人机交互等。通过提升隐喻理解能力，能够改善智能助手、翻译系统和情感分析工具的表现，具有重要的实际价值和未来影响。

📄 摘要（原文）

Metaphor enables the understanding of abstract concepts through cross-domain mappings while conveying affective attitudes. In multimodal scenarios, visual and textual information jointly construct Target--Source mappings, requiring both conceptual understanding and cross-modal reasoning. However, existing benchmarks mainly evaluate metaphor understanding through isolated subtasks and lack evidence-grounded explanations, making it difficult to assess whether models establish mappings grounded in visual and textual cues.To address these limitations, we introduce M$^3$R-Bench, a unified and evidence-grounded benchmark containing 1,000 image--text instances with human-verified annotations. Guided by Conceptual Metaphor Theory and theories of nonliteral language understanding, M$^3$R-Bench provides joint annotations for metaphor occurrence, Target--Source mapping, sentiment, and stage-wise explanations following ``evidence identification--mapping establishment--sentiment inference.''Evaluations on M$^3$R-Bench reveal that existing models often overlook visual evidence, rely on superficial textual cues, and produce inaccurate Target--Source mappings, exposing a cross-modal evidence--mapping mismatch. To address this mismatch, we propose M$^3$R-Reasoner, which combines curriculum-based reasoning supervision with task-aware reinforcement learning to align model reasoning with metaphor interpretation. Experiments show that, with only an 8B-parameter backbone, M$^3$R-Reasoner outperforms larger proprietary MLLMs across four unified-task metrics and improves Visual Evidence and Sentiment Justification scores over GPT-5.5 by 28.45 and 30.11 points, respectively, while surpassing Claude-Sonnet-4.6 by 8.00 points in mean rubric score. The dataset and code are available at https://github.com/hongshi4/M3R-Bench.