FinRiskAtlas: Decision-Aligned Evaluation of Large Language Models for Financial Risk Review
作者: Suyang Zhong, Jingzhe Zhu, Qi Xu, Liyao Sun, Yin Wang, Qingqing Sun, Shuai Chen, Tianyi Zhang
分类: cs.AI, cs.CL
发布日期: 2026-08-26
💡 一句话要点
提出FinRiskAtlas以解决金融风险审查中的模型评估问题
🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)
关键词: 金融风险评估 大型语言模型 决策支持 证据状态控制 模型评估 专业审查 基准测试
📋 核心要点
- 现有金融模型评估方法多集中于一般能力，未能针对特定审查操作和决策支持进行有效评估。
- FinRiskAtlas通过引入固定证据状态下的操作执行和动态证据状态控制，提供了更符合实际需求的评估框架。
- 实验结果显示，模型在操作层面的评估提供了非冗余的排名，且知识基础的筛选可能导致较高的后悔值，强调了决策与证据状态的关联性。
📝 摘要（中文）
在专业金融审查中，部署大型语言模型不仅需要评估其一般金融能力，还需确保模型能够执行特定的审查操作，并判断现有证据是否足以支持合理决策。现有金融基准多围绕数据集或任务形式组织，而非支持的决策。本文提出了FinRiskAtlas，一个中文基准，评估金融LLM在固定证据状态下的操作执行和在变化审查条件下的证据状态控制。该基准包含9742个实例，涵盖53个任务家族，展示了模型在专业工作流中的可靠性与决策支持的关系。
🔬 方法详解
问题定义：本文旨在解决现有金融模型评估方法未能有效支持特定审查操作和决策的问题，现有基准多围绕数据集而非决策展开。
核心思路：FinRiskAtlas通过评估模型在固定证据状态下的操作执行和在变化审查条件下的证据状态控制，提供了更为精准的评估方法，确保模型在实际应用中的可靠性。
技术框架：该框架包括静态基准和FinRisk-Ask两个部分，静态基准包含9742个实例，涵盖53个任务家族；FinRisk-Ask通过离线重放104个去标识化专业轨迹中的680个预行动状态，构建专家验证的证据目标。
关键创新：FinRiskAtlas的创新在于其评估单位与实际决策和证据状态对齐，突破了传统评估方法的局限，强调了模型在专业工作流中的可靠性。
关键设计：在实验中，使用了33种模型配置，操作级评估的平均配对Spearman相关系数为0.42，知识基础筛选在个别操作上可能导致高达18.01的后悔值，显示出模型在不同操作中的表现差异。
🖼️ 关键图片
📊 实验亮点
实验结果显示，FinRiskAtlas在操作级评估中提供了非冗余的排名，平均配对Spearman相关系数为0.42，且知识基础的短listing可能导致高达18.01的后悔值，强调了模型在专业工作流中的可靠性与决策支持的重要性。
🎯 应用场景
该研究的潜在应用领域包括金融风险管理、合规审查和智能决策支持系统。通过提供更精准的模型评估，FinRiskAtlas能够帮助金融机构在审查过程中做出更为合理的决策，提升工作效率和决策质量，未来可能影响金融科技的发展方向。
📄 摘要（原文）
Deploying large language models for professional financial review requires more than measuring general financial competence: models must perform the specific review operation required by a workflow and determine whether available evidence is sufficient for a defensible decision. Existing financial benchmarks cover knowledge, reasoning, compliance, and professional tasks, but their evaluation units are often organized around datasets or task formulations rather than the decisions that deployed systems support. We introduce FinRiskAtlas, a Chinese-language benchmark that evaluates financial LLMs along two complementary dimensions: operation execution under fixed evidence states and evidence-state control under evolving review conditions. The static benchmark contains 9,742 instances across 53 task families, including 42 Domain Knowledge families and eleven downstream review operations defined by explicit evaluation contracts. FinRisk-Ask extends this framework through offline replay of 680 pre-action states from 104 de-identified professional trajectories, withholding future evidence during inference and using it only to construct expert-verified evidence targets. Across 33 model configurations, operation-level evaluation yields non-redundant rankings (mean pairwise Spearman correlation 0.42 across downstream operations), and knowledge-based shortlisting can incur up to 18.01 points of regret on individual operations. FinRisk-Ask further shows that entering the Ask branch more frequently does not necessarily improve request targeting or end-to-end evidence acquisition. These results show that broad financial capability scores do not fully capture where models are reliable in professional workflows, motivating evaluation units aligned with the decisions and evidence states that deployed systems must support.