Communicating Credit Risk with Large Language Models: Evaluation of Explanations from Standard and Alternative Data-Based Models

📄 arXiv: 2608.17715v1 📥 PDF

作者: Sahab Zandi, Noah Kostesku, Christophe Mues, María Óskarsdóttir, Cristián Bravo

分类: q-fin.RM, cs.AI

发布日期: 2026-08-18

备注: 49 pages, 14 figures

💡 一句话要点

利用大型语言模型提升信用风险解释的可理解性

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 信用风险 大型语言模型 可解释性 金融科技 模型输出 风险管理 数据驱动

📋 核心要点

  1. 现有信用风险模型的解释过于技术化，导致利益相关者难以理解，影响决策的透明性和公正性。
  2. 提出利用大型语言模型作为解释层，将复杂的模型输出转化为易于理解的风险叙述，增强沟通效果。
  3. 实验结果表明，解释叙述在影响因素命名上表现良好，但在影响方向的准确性上存在不足，专业人士的标准更高。

📝 摘要（中文）

信用决策是一项高风险任务，模型输出必须准确且可解释，以支持合规决策。尽管现代信用风险模型如极端梯度提升（XGBoost）和图神经网络（GNN）提高了预测性能，但其解释往往过于技术化，导致与利益相关者之间的沟通障碍。本文探讨大型语言模型（LLMs）能否作为解释层，将后期解释结果转化为适合利益相关者的风险叙述。通过使用Freddie Mac的单户贷款数据，开发了三种管道，并评估了不同LLM配置生成的叙述质量。研究发现，解释叙述在命名影响因素方面可靠，但在影响方向的表述上存在不确定性，且专业人士对证据标准的要求更严格。

🔬 方法详解

问题定义：本文旨在解决信用风险模型输出的可解释性问题，现有模型如XGBoost和GNN的解释往往过于复杂，难以为非专业人士所理解。

核心思路：通过引入大型语言模型（LLMs），将后期解释结果转化为适合利益相关者的叙述，从而缩小技术与非技术用户之间的沟通差距。

技术框架：整体架构包括三个主要管道：标准表格数据管道（XGBoost + SHAP）、纯网络数据管道（GNN + GNNExplainer）和双模态管道（结合表格和网络数据）。使用三种LLM配置生成叙述，并通过自动化检查和人类研究评估解释质量。

关键创新：最重要的创新在于将LLMs作为解释层，能够有效地将复杂的模型输出转化为易于理解的叙述，解决了传统方法中解释性不足的问题。

关键设计：在模型训练中，采用了小型和大型微调LLM（Gemma 3 4B和DeepSeek R1 70B）以及零-shot商业LLM（Gemini 2.5），并通过多维度评估标准对生成的叙述质量进行验证。实验中还考虑了证据的表示方式对解释质量的影响。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果显示，管道在证据基础分数的方差上优于语言模型，表明解释质量的关键在于证据表示而非模型本身。此外，解释叙述在命名影响因素方面表现良好，但在影响方向的准确性上存在不足，专业人士对证据标准的要求更高。

🎯 应用场景

该研究的潜在应用领域包括金融服务、信贷审批和风险管理等。通过提升信用风险模型的可解释性，能够帮助金融机构在合规决策中更好地与利益相关者沟通，增强透明度和信任度，未来可能推动金融科技领域的进一步发展。

📄 摘要（原文）

Credit decisioning is a high-stakes task in which model outputs must be accurate and explainable to support compliant decisions. Although modern credit risk models such as eXtreme Gradient Boosting (XGBoost) and Graph Neural Networks (GNNs) improve predictive performance, their explanations are often too technical for stakeholders creating communication gaps that can shape approvals, denials, and fairness judgments. We examine whether Large Language Models (LLMs) can serve as explanation layers that translate post-hoc explanation artefacts into stakeholder-appropriate risk narratives. Using Freddie Mac single-family loan-level data, we develop three pipelines: standard tabular (XGBoost + SHAP), and two with alternative data, a pure network-based (GNN + GNNExplainer), and a bimodal one (combining tabular and network data). We generate narratives with three LLM configurations: a small fine-tuned LLM (Gemma 3 4B), a large fine-tuned LLM (DeepSeek R1 70B), and a zero-shot commercial LLM (Gemini 2.5). Explanation quality is evaluated through automated checks across all pipelines and a human study of bimodal explanations comparing credit risk professionals and non-professionals on eight decision-relevant dimensions. We have three main findings. First, the pipeline accounts for higher variance in evidence-grounding scores than the language model, meaning that the binding constraint on explanation quality is the evidence representation, not the model used. Second, the explanation narratives reliably name the influential factors but are less reliable when stating the direction of influence, which may be consequential for adverse-action communication. Finally, professionals apply stricter evidentiary standards than non-professionals. We discuss implications for the governance of risk models, including deployment considerations and the value of domain-aligned LLMs in regulated credit settings.