Wyvern: An Agentic Framework for Generating Grounded Multimodal Reports
作者: Beatrice Alessandra Motetti, Emilien Guandalino, Daniele Jahier Pagliari, Alessio Burrello, Lorenz K. Müller, Konstantin Berestizshevsky, Lukas Cavigelli
分类: cs.AI
发布日期: 2026-08-14
💡 一句话要点
提出Wyvern框架以生成多模态的基础技术报告
🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)
关键词: 多模态生成 自动报告生成 信息基础 生成模型 人工智能
📋 核心要点
- 现有生成模型在内容合成中缺乏信息基础，导致生成的报告质量不高。
- Wyvern框架通过多代理机制，自动生成整合图像、表格和文本的多模态技术报告，并实施声明自动修订。
- 实验结果表明，Wyvern在信息性和实用性上均优于多个基线方法，显著提升了引用的召回率和精度。
📝 摘要（中文）
在当前人工智能驱动的创新时代，知识增长的速度加快，难以跟上。尽管生成模型越来越多地用于合成内容，但它们往往缺乏信息的基础性。为了解决这些问题，本文提出了Wyvern，一个多代理框架，用于自动生成基础的多模态技术报告。Wyvern能够生成整合图像、表格和文本的多模态输出，并在统一报告中提供支持性参考。此外，特别关注内容的基础性，实施了声明自动修订阶段。通过人类评估研究，我们评估了所提框架的质量，结果显示在87%的情况下，图形的信息性被认为优于最近的基线。此外，Wyvern的报告在63%到100%的实例中被评为比三种替代方法更有用。自动评估显示，Wyvern在引用召回率上比基线提高了2.3倍，在引用精度上提高了1.6倍。
🔬 方法详解
问题定义：本文旨在解决现有生成模型在技术报告生成中缺乏信息基础的问题，导致生成内容的准确性和实用性不足。
核心思路：Wyvern框架通过多代理协作，自动生成包含图像、表格和文本的多模态报告，并通过声明自动修订确保内容的准确性和可靠性。
技术框架：Wyvern的整体架构包括多个代理模块，负责不同类型内容的生成与整合，最终形成统一的技术报告。框架中还包含一个自动修订模块，用于提升内容的基础性。
关键创新：Wyvern的主要创新在于其多代理协作机制和声明自动修订阶段，这与现有方法的单一生成模式形成鲜明对比，显著提升了报告的质量和信息基础。
关键设计：在设计中，Wyvern采用了特定的损失函数来优化多模态内容的生成，并通过参数调整确保各模块之间的有效协作，提升整体性能。具体的网络结构和参数设置在论文中详细描述。
🖼️ 关键图片
📊 实验亮点
实验结果显示，Wyvern在87%的情况下，其生成的图形信息性优于基线方法，并在63%到100%的实例中被评为更有用。此外，Wyvern在引用召回率和精度上分别提高了2.3倍和1.6倍，展现了显著的性能提升。
🎯 应用场景
Wyvern框架的潜在应用领域包括技术文档自动生成、科研报告撰写和教育领域的学习材料制作。其实际价值在于提高报告生成的效率和质量，未来可能对知识传播和信息获取产生深远影响。
📄 摘要（原文）
In the current artificial intelligence-driven innovation era, the pace of knowledge growth is accelerating, and is hard to keep up with. While generative models are increasingly used to synthesize content, they often lack in information grounding. To address these peculiarities of our time, we propose Wyvern, a multi-agent framework for the automated generation of grounded, multimodal technical reports. Wyvern allows for the generation of multimodal outputs, integrating images, tables, and text with supporting references in a unified report. Additionally, a particular focus is placed on the grounding of the content, with the implementation of a claims auto-revision stage. We conduct a human evaluation study to assess the quality of our proposed framework. The results show that the figures' informativeness is perceived as superior to that of a recent baseline in 87% of cases. Furthermore, Wyvern's reports are rated as more useful than those produced by three alternative methods in 63% to 100% of instances. We also carry out automatic evaluations showing that Wyvern gains up to 2.3$\times$ in citation recall and 1.6$\times$ in citation precision with respect to the baselines.