RusFinChain: A Russian Benchmark for Verifiable Chain-of-Thought Reasoning in Finance with Fuzzy-Aligned Evaluation
作者: M. K. Arabov
分类: cs.CL
发布日期: 2026-07-05
💡 一句话要点
提出RusFinChain以解决俄语金融领域推理基准不足问题
🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)
关键词: 金融推理 符号推理 可验证评估 俄语基准 机器学习 推理链 模糊对齐 软注意力
📋 核心要点
- 现有的金融推理基准大多忽视中间推理步骤，导致模型在实际应用中的推理能力不足。
- RusFinChain是第一个针对俄语的金融领域可验证推理链基准，涵盖多个领域并提供详细的推理链和中间数值。
- 实验结果显示，模型在推理步骤的对齐上存在显著差距，且新引入的评估指标与最终答案的相关性更强。
📝 摘要（中文）
多步骤符号推理对稳健的金融分析至关重要，但现有基准大多忽视中间推理步骤。FINCHAIN引入了可验证的推理链评估，但仅限于英语。FINESSE-Bench虽然包含俄语部分，但依赖多项选择题且缺乏逐步监督。本文提出RusFinChain，这是第一个针对金融领域可验证推理链的俄语符号基准，涵盖17个领域、172个主题，包含5280个来自可执行Python模板的参数化示例，确保无污染评估。每个示例都包括黄金标准推理链及中间数值以便自动验证。我们还引入了增强的评估指标：模糊数值对齐和软注意力对齐。对8个开放权重的LLM进行评估，生成8100个响应，结果显示推理存在显著差距：模型在步骤对齐的Hard F1约为0.65，但最终答案正确率仅约29%。我们的模糊和软指标与最终答案正确性（Spearman rho约0.48）的相关性强于原始ChainEval（rho约0.38-0.46），显示出更强的诊断能力。我们发布数据集、代码和评估框架，以促进俄语社区的可验证金融AI发展。
🔬 方法详解
问题定义：本文旨在解决现有金融推理基准缺乏中间推理步骤监督的问题，尤其是在俄语环境下的不足。现有方法如FINCHAIN和FINESSE-Bench无法有效支持俄语推理分析。
核心思路：RusFinChain通过提供一个全面的俄语符号基准，包含详细的推理链和中间数值，来增强金融领域的推理能力，确保评估的有效性和准确性。
技术框架：该基准涵盖17个领域和172个主题，包含5280个示例，采用可执行的Python模板生成，确保数据的无污染性。每个示例都配有黄金标准推理链，便于自动化验证。
关键创新：最重要的创新在于引入了模糊数值对齐和软注意力对齐这两种新评估指标，显著提高了对推理能力的诊断能力，与现有方法相比具有更高的相关性。
关键设计：在设计中，采用了参数化示例生成技术，确保每个示例的多样性和代表性，同时通过自动化验证机制提升评估的效率和准确性。
🖼️ 关键图片
📊 实验亮点
实验结果表明，模型在步骤对齐的Hard F1约为0.65，但最终答案的正确率仅为29%。新引入的模糊和软指标与最终答案的相关性达到约0.48，显著优于原有的ChainEval指标，显示出更强的诊断能力。
🎯 应用场景
RusFinChain的研究成果可广泛应用于金融分析、智能投顾及风险评估等领域，帮助金融机构和研究者更好地理解和验证模型的推理能力。未来，该基准有望推动俄语金融AI的发展，提升其在实际应用中的可靠性和有效性。
📄 摘要（原文）
Multi-step symbolic reasoning is essential for robust financial analysis, yet most benchmarks neglect intermediate reasoning steps. FINCHAIN introduced verifiable Chain-of-Thought (CoT) evaluation but is limited to English. FINESSE-Bench includes a Russian block but relies on multiple-choice questions without step-level supervision. We present RusFinChain, the first Russian-language symbolic benchmark for verifiable CoT reasoning in finance. It spans 17 domains, 172 topics, and comprises 5,280 parameterized examples from executable Python templates, ensuring contamination-free evaluation. Each example includes a gold-standard reasoning chain with intermediate numeric values for automatic verification. We also introduce enhanced metrics: Fuzzy Numeric Alignment and Soft-Attention Alignment. We evaluate 8 open-weight LLMs on a stratified sample, generating 8,100 responses. Results reveal a substantial reasoning gap: models achieve Hard F1 of ~0.65 for step alignment, but only ~29% of final answers are correct. Our fuzzy and soft metrics show stronger correlation with final-answer correctness (Spearman rho approx 0.48) than the original ChainEval (rho approx 0.38-0.46), demonstrating superior diagnostic power. We release dataset, code, and evaluation framework to foster verifiable financial AI for the Russian-speaking community.