FinReportBench: Measuring and Improving Institution-Grade Financial Report Generation
作者: Yinghao Tang, Tan Zhenwei, Yiyao Wang, Wanli Gu, Xiaolu Zhang, Jun Zhou, Wei Chen
分类: cs.CL, cs.AI
发布日期: 2026-08-05
备注: 9 pages, 9 figures
🔗 代码/项目: GITHUB
💡 一句话要点
提出FinReportBench以解决机构级财务报告生成问题
🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture) 支柱九：具身大模型 (Embodied Foundation Models)
关键词: 财务报告生成 基准评估 技能蒸馏 多模态证据 机构适用性
📋 核心要点
- 现有大型语言模型在生成财务报告时，流畅性不足以保证报告的机构适用性，存在多方面的缺口。
- 论文提出FinReportBench基准，通过专家评审和多模态证据，制定了35项评估标准，旨在提升财务报告的生成质量。
- 实验结果表明，经过基准指导的技能蒸馏，五个模型的生成能力显著提升，G1平均提高33.85分，G2提高13.83分。
📝 摘要（中文）
大型语言模型能够生成流畅的财务分析，但仅凭流畅性无法判断报告是否适合机构交付。本文介绍了FinReportBench，一个基于专家的基准，用于测量和改进机构级财务报告生成。专家评审揭示了报告身份、机构组成、来源学科和视觉呈现等方面的重复性缺口。我们通过专家部分排序、多模态证据和决策边界审计，制定了一个包含35项标准的评估体系，涵盖可交付性、报告身份和机构完整性。基于10,000条平衡的中英文财务研究源记录，我们策划了244个双语任务，展示了模型在生成和自我审查中的改进效果。
🔬 方法详解
问题定义：本文旨在解决大型语言模型生成的财务报告在机构适用性方面的不足，尤其是在报告身份和机构完整性方面的缺口。现有方法未能充分考虑这些因素，导致生成的报告不符合机构标准。
核心思路：通过构建FinReportBench基准，结合专家评审和多模态证据，制定详细的评估标准，旨在系统性地提升财务报告的生成质量和适用性。
技术框架：整体架构包括三个主要模块：1) 专家评审与标准制定；2) 任务策划与数据集构建；3) 模型训练与评估。每个模块相互关联，确保生成过程的全面性与准确性。
关键创新：最重要的创新在于通过专家部分排序和多模态证据，制定出35项评估标准，填补了现有方法在报告生成质量评估上的空白，特别是在报告身份和机构完整性方面。
关键设计：在模型训练中，采用了基于基准指导的技能蒸馏方法，设计了特定的损失函数以优化生成质量，同时保持了生成报告的基本框架。
🖼️ 关键图片
📊 实验亮点
实验结果显示，经过基准指导的技能蒸馏，五个模型的生成能力显著提升，G1平均提高33.85分，G2提高13.83分，且在每对模型中保持了G0的稳定性，表明方法的有效性和可靠性。
🎯 应用场景
该研究的潜在应用领域包括金融机构、投资公司和研究机构等，能够为这些组织提供高质量的财务报告生成工具，提升决策支持能力。未来，该基准可能推动更多领域的报告生成技术发展，促进自动化和智能化的财务分析。
📄 摘要（原文）
Large language models can produce fluent financial analysis, but fluency alone does not establish whether a report is suitable for institutional delivery. We introduce FinReportBench, an expert-grounded benchmark for measuring and improving institution-grade financial report generation. Expert review reveals recurring gaps in report identity, institutional components, source discipline, and visual delivery. We derive a 35-item rubric through expert partial orders, multimodal evidence, and audits of decision boundaries, covering deliverability, report identity, and institutional completeness. Starting from 10,000 balanced Chinese and English financial-research source records, we curate 244 bilingual tasks across three research objects and two input tiers. Each task separates the public query, reconstructed research trajectory, and hidden source packet. Three independent judge families reproduce the expert partial order at near-ceiling rates, showing that bounded, observable criteria support reliable evaluation. Across nine model families, basic deliverability is nearly saturated, while report identity and institutional completeness remain the primary bottlenecks. The largest cross-model gaps concern generation-trace control, information density, and data discipline rather than basic report framing. We then use benchmark-guided skill distillation to turn recurrent failures into reusable generation and self-review constraints. Across five model families, the evolved skill improves mean G1 by 33.85 points and mean G2 by 13.83 points over paired no-skill runs while preserving G0 for every pair. Code and benchmark artifacts are available at https://github.com/MisterBrookT/finreportbench.