InvestPhilBench: A Multi-Layer Dynamic Benchmark for Evaluating Large Language Model Procedural Reasoning in Expert Investment Philosophy

📄 arXiv: 2606.25984v1 📥 PDF

作者: Mingguang Chen, Bo Qu

分类: cs.AI, cs.LG

发布日期: 2026-06-24

备注: 57 pages, 6 figures, 26 tables. Benchmark, data, and code released. v0.6 release; preliminary empirical study (de-confounded multi-model leaderboard forthcoming)

💡 一句话要点

提出InvestPhilBench以评估大语言模型在投资哲学中的程序推理能力

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture) 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 投资决策 大语言模型 程序推理 动态基准 自动评分

📋 核心要点

  1. 现有方法未能有效评估大语言模型在投资决策中的程序推理能力，缺乏针对专家投资哲学的基准测试。
  2. 本文提出InvestPhilBench，通过多层动态基准评估模型在不同认知层级的表现，涵盖从原则识别到框架推导的全过程。
  3. 实验结果表明，BASP复合评分在前沿模型中达到0.932，但GRA指标显示程序性缺陷，提示模型在推理能力上仍有待提升。

📝 摘要（中文）

随着大语言模型在投资研究中的应用日益增加，尚缺乏能够准确评估其重建和应用专家投资者特定决策框架的基准。本文介绍了InvestPhilBench，这是一个多层动态基准，涵盖从原则识别到新框架推导的八个认知层级。v0.6版本包含118个经过主要来源验证的投资原则卡片、25个具有明确拓扑元数据的决策框架卡片和243个问答问题。为实现可重复的规模评分，本文引入了基准自动评分管道（BASP），包括五个算法指标和故障模式检测协议（FMDP）。实验结果显示，BASP的复合评分在前沿模型中饱和，而GRA指标揭示了程序性缺陷。

🔬 方法详解

问题定义：本文旨在解决大语言模型在投资决策中的程序推理能力评估问题。现有方法缺乏针对专家投资哲学的系统性基准，无法准确反映模型的决策框架应用能力。

核心思路：InvestPhilBench通过构建多层动态基准，涵盖八个认知层级，提供全面的评估框架，旨在准确测量模型在投资决策中的表现。

技术框架：整体架构包括投资原则卡片、决策框架卡片和问答问题，结合基准自动评分管道（BASP）和故障模式检测协议（FMDP），实现高效的评估和评分。

关键创新：最重要的创新在于引入了多层次的动态基准和自动评分管道，使得评估过程更加系统化和可重复，填补了现有方法的空白。

关键设计：在评分过程中，采用了五个算法指标（OGRS, KCCS, SAP@k, IVP, CKCA）和故障模式检测协议，确保评分的准确性和可靠性。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

在188个问题的开发集上，BASP复合评分达到了0.906，而GRA指标显示程序性缺陷，前沿模型的GRA约为0.77，表明模型在流畅性评分上存在掩盖程序性缺口的现象。这些结果为未来的模型改进提供了重要的参考。

🎯 应用场景

InvestPhilBench的研究成果可广泛应用于金融科技领域，特别是在投资决策支持系统中，帮助提升大语言模型在实际投资场景中的应用能力和决策质量。未来，该基准还可能推动更多领域的智能决策系统的发展。

📄 摘要（原文）

Large language models are increasingly deployed as investment research assistants, yet no benchmark tests whether they can accurately reconstruct and apply the specific procedural decision frameworks of expert investors. We introduce InvestPhilBench, a multi-layer dynamic benchmark spanning eight cognitive tiers, from principle identification (L1) to novel framework extrapolation (L8). The v0.6 release comprises 118 primary-source-verified investment principle cards, 25 decision framework cards with explicit topology metadata, and 243 QA questions (197 dev / 46 held-out test). For reproducible scoring at scale we introduce the Benchmark Automated Scoring Pipeline (BASP) -- five algorithmic metrics (OGRS, KCCS, SAP@k, IVP, CKCA) -- the Failure Mode Detection Protocol (FMDP) with computable rules for six failure modes, and Gate Reconstruction Accuracy (GRA), a per-gate metric for questions with gold reasoning programs. In this release, InvestPhilBench is primarily a benchmark-and-methodology contribution. A four-model sanity wave on the 188-question development split shows a sharp provider-tier split (BASP 0.906 vs. 0.438); these mixed-judge numbers are confounded upper bounds. The central finding: the BASP composite saturates at the frontier (Claude L4 = 0.932) while GRA still exposes a procedural deficit (frontier L4 GRA approx. 0.77, L7 GRA 0.57-0.62) -- composite scoring rewards fluent prose and hides the procedural gap. v0.6 implements a unified judge and true model-in-the-loop retrieval/oracle conditions; the de-confounded multi-model leaderboard and full three-condition run are v1.0 deliverables. On a 100-item expert-annotated gold set the automated BASP composite tracks the human reference at Pearson r = 0.72 (MAE = 0.10), with attribution (SAP@3) the weakest sub-metric and the failure-mode detector running sensitive-but-over-flagging.