Helping Figures Tell their Story! Paper-Grounded Video Generation Explaining Complex Scientific Figures

📄 arXiv: 2606.12576 📥 PDF

作者: Ishani Mondal, Javad Baghirov, Jordan Boyd-Graber

分类: cs.CL

发布日期: 2026-06-12

💡 一句话要点

提出纸基图形视频生成方法以解决科学图形理解问题

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 科学图形 视频生成 叙述生成 多模态融合 区域对接 机器学习 人工智能

📋 核心要点

  1. 现有的视频生成系统无法有效地将科学图形与逐步叙述结合，导致理解困难。
  2. 论文提出MINARD方法，通过区域分解生成与图形区域对接的叙述，提升理解效果。
  3. 实验结果表明，MINARD在FigTalk基准上生成的叙述在自动和人工评估中均优于现有方法。

📝 摘要（中文）

科学图形将复杂流程压缩为单一画布，但理解这些图形需要与视觉高亮相结合的逐步叙述，这在现有视频生成系统和基准中缺失。为此，本文提出了纸基图形到视频生成的方法：从图形及其论文生成叙述性、区域基础的演示视频。我们提出了MINARD（通过区域分解的叙述架构的多模态解释），该管道生成纸基叙述并将其逐步与图形区域对接。我们还发布了FigTalk基准，包含新的顺序和组件级对接指标。在FigTalk上，MINARD生成的人类般的、忠实于论文的叙述，在自动和人工评估中均优于现有方法。

🔬 方法详解

问题定义：本文旨在解决科学图形理解中的叙述缺失问题。现有方法在生成与图形内容相结合的叙述时存在不足，无法提供有效的视觉引导。

核心思路：MINARD方法通过将叙述与图形区域逐步对接，提供更清晰的理解路径。这种设计使得叙述不仅是文本，而是与视觉内容紧密结合。

技术框架：MINARD的整体架构包括三个主要模块：图形解析模块、叙述生成模块和区域对接模块。图形解析模块提取图形中的关键区域，叙述生成模块基于提取的信息生成叙述，区域对接模块则将叙述与图形区域进行匹配。

关键创新：MINARD的主要创新在于其区域分解的叙述生成方式，能够实现与图形内容的高效对接。这一方法与传统的叙述生成方法相比，显著提升了叙述的准确性和可理解性。

关键设计：在设计中，MINARD采用了特定的损失函数来优化叙述与图形区域的对接效果，同时使用了多模态融合技术来增强叙述的表达能力。

📊 实验亮点

在FigTalk基准上，MINARD生成的叙述在自动评估中比现有方法提升了显著的性能，尤其是在叙述的准确性和与图形的对接效果上，人工评估也显示出其生成的叙述更具人类化和论文忠实性。

🎯 应用场景

该研究的潜在应用领域包括科学教育、科研成果展示和学术交流等。通过生成清晰的叙述性视频，可以帮助学生和研究人员更好地理解复杂的科学图形，从而提升学习和研究效率。未来，该方法可能在其他领域的可视化叙述生成中发挥重要作用。

📄 摘要（原文）

Scientific figures compress complex pipelines into a single canvas, yet understanding them requires paper-grounded, step-by-step narration aligned with visual highlights a capability missing from current video generation systems and benchmarks. To address this, we introduce paper-grounded figure-to-video generation: generating narrated, region-grounded walkthrough videos from a figure and its paper. We propose MINARD (Multimodal Interpretation of Narrated Architecture via Region Decomposition), a pipeline that generates paper-grounded narrations and sequentially grounds them to figure regions. We also release FigTalk, a benchmark with new sequential and component-level grounding metrics derived. On FigTalk, MINARD generates humanlike, paper-faithful narrations and outperforms narration-conditioned figure spatial grounding compared to existing approaches in both automatic and human evaluation