Cut to the Chase: Training-free Multimodal Summarization via Chain-of-Events

📄 arXiv: 2603.06213v1 📥 PDF

作者: Xiaoxing You, Qiang Huang, Lingyu Li, Xiaojun Chang, Jun Yu

分类: cs.CV, cs.AI

发布日期: 2026-03-06

备注: Accepted to CVPR 2026

🔗 代码/项目: GITHUB

💡 一句话要点

提出CoE：一种基于事件链的无训练多模态摘要框架，提升跨模态融合和时序建模能力。

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 多模态摘要 事件链 分层事件图 无训练学习 跨模态融合

📋 核心要点

  1. 现有MMS方法依赖领域监督，跨模态融合隐式且对齐弱，时序建模扁平化，缺乏事件转换。
  2. CoE通过分层事件图引导的事件链进行结构化推理，实现跨模态对齐和事件演化建模。
  3. CoE在八个数据集上超越SOTA，ROUGE提升+3.04，CIDEr提升+9.51，BERTScore提升+1.88。

📝 摘要（中文）

多模态摘要(MMS)旨在通过理解和整合视频、文本记录和图像中的信息来生成简洁的文本摘要。然而，现有方法仍然面临三个主要挑战：(1)依赖于特定领域的监督，(2)隐式融合导致跨模态弱对齐，(3)缺乏事件转换的扁平化时序建模。为了解决这些问题，我们引入了CoE，一个无需训练的MMS框架，它通过由分层事件图(HEG)引导的事件链执行结构化推理。HEG将文本语义编码为显式的事件层次结构，为跨模态对齐和时序推理提供支撑。在HEG的指导下，CoE定位关键视觉线索，建模事件演化和因果转换，并通过轻量级的风格适配来优化输出，实现领域对齐。在八个不同的数据集上进行的大量实验表明，CoE始终优于最先进的视频CoT基线，平均提升+3.04 ROUGE，+9.51 CIDEr和+1.88 BERTScore，突出了其鲁棒性、可解释性和跨领域泛化能力。我们的代码可在https://github.com/youxiaoxing/CoE 获得。

🔬 方法详解

问题定义：论文旨在解决多模态摘要任务中现有方法存在的三个主要问题：一是依赖于特定领域的监督数据，导致泛化能力不足；二是跨模态信息融合方式隐式，缺乏有效的跨模态对齐；三是时序建模方式较为扁平，忽略了事件之间的转换关系。这些问题限制了多模态摘要模型的性能和可解释性。

核心思路：论文的核心思路是利用显式的事件结构来指导多模态信息的融合和推理。具体来说，通过构建分层事件图（HEG）来编码文本语义，并利用该图来引导跨模态信息的对齐和事件演化的建模。这种结构化的推理方式能够提高模型的可解释性和泛化能力，并且无需额外的训练数据。

技术框架：CoE框架主要包含以下几个阶段：1. 构建分层事件图（HEG）：利用文本记录构建显式的事件层次结构，用于指导跨模态对齐和时序推理。2. 视觉线索定位：在HEG的指导下，定位视频中的关键视觉线索，实现跨模态信息的初步对齐。3. 事件演化建模：建模事件之间的演化和因果转换关系，捕捉视频内容的时序动态。4. 风格适配：通过轻量级的风格适配模块，优化生成的摘要，使其更符合目标领域的风格。

关键创新：该论文最关键的创新点在于提出了基于事件链的结构化推理框架CoE，它通过显式的事件结构（HEG）来指导多模态信息的融合和推理，从而克服了现有方法存在的跨模态对齐弱和时序建模扁平化的问题。与现有方法相比，CoE无需训练，具有更好的可解释性和泛化能力。

关键设计：HEG的构建方式是关键设计之一，它决定了事件结构的质量和有效性。论文中可能采用了某种特定的算法或规则来构建HEG，例如基于句法分析或语义分析的方法。此外，视觉线索定位模块的设计也至关重要，它需要能够准确地将视觉信息与HEG中的事件节点进行对齐。风格适配模块可能采用了某种轻量级的生成模型或风格迁移技术，以实现领域对齐。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

CoE在八个数据集上进行了广泛的实验，结果表明CoE显著优于现有的视频CoT基线方法。具体来说，CoE在ROUGE指标上平均提升了+3.04，在CIDEr指标上平均提升了+9.51，在BERTScore指标上平均提升了+1.88。这些结果表明CoE具有很强的鲁棒性、可解释性和跨领域泛化能力。

🎯 应用场景

该研究成果可应用于视频内容理解、智能监控、新闻摘要、教育视频生成等领域。通过自动生成视频摘要，可以帮助用户快速了解视频内容，提高信息获取效率。未来，该技术有望应用于更广泛的多媒体内容处理和理解任务中，例如自动生成电影预告片、游戏解说等。

📄 摘要（原文）

Multimodal Summarization (MMS) aims to generate concise textual summaries by understanding and integrating information across videos, transcripts, and images. However, existing approaches still suffer from three main challenges: (1) reliance on domain-specific supervision, (2) implicit fusion with weak cross-modal grounding, and (3) flat temporal modeling without event transitions. To address these issues, we introduce CoE, a training-free MMS framework that performs structured reasoning through a Chain-of-Events guided by a Hierarchical Event Graph (HEG). The HEG encodes textual semantics into an explicit event hierarchy that scaffolds cross-modal grounding and temporal reasoning. Guided by this structure, CoE localizes key visual cues, models event evolution and causal transitions, and refines outputs via lightweight style adaptation for domain alignment. Extensive experiments on eight diverse datasets demonstrate that CoE consistently outperforms state-of-the-art video CoT baselines, achieving average gains of +3.04 ROUGE, +9.51 CIDEr, and +1.88 BERTScore, highlighting its robustness, interpretability, and cross-domain generalization. Our code is available at https://github.com/youxiaoxing/CoE.