Evaluating Investment Logic in Large Language Models: A Real-World Benchmark Towards Personalzied Financial Agents
作者: Yuanhong Jiang, Jingjie Zou, Zhenghong Lin, Xusheng Yu, Qiqi Huang, Shuai Jia, Shijie Dai
分类: cs.AI
发布日期: 2026-08-06
💡 一句话要点
提出InvestLogicBench以评估个性化金融代理的投资逻辑
🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)
关键词: 个性化金融 投资决策 大语言模型 评估基准 逻辑推理 市场事件 决策分析
📋 核心要点
- 现有金融大语言模型的评估方法存在不足，无法全面反映投资者的决策过程和逻辑基础。
- 本文提出InvestLogicBench基准，通过追踪投资者的个人资料、市场事件、推理、决策和结果，提供更全面的评估框架。
- 在对四种领先的大语言模型进行评估时，逻辑合理性接近4/5，但事件基础的评分较低，揭示了现有方法的局限性。
📝 摘要（中文）
投资能力本质上是个性化的：相同的市场证据可能会因投资者的目标、投资期限、投资组合和风险边界的不同而导致不同的行动。然而，现有金融大语言模型的评估方法要么依赖静态问答，要么基于终端的盈亏，这两者都无法全面反映投资者的决策过程。本文提出了InvestLogicBench，一个包含151位真实投资者201,247个决策的基准，旨在通过投资者的个人资料、市场事件、投资推理、可执行决策和延迟结果的追踪，提供更全面的评估框架。研究结果显示，逻辑合理性接近4/5，但事件基础的评分仅为0.8至2.8/5，揭示了现有评估方法的不足。
🔬 方法详解
问题定义：本文旨在解决现有金融大语言模型评估方法的不足，尤其是无法反映投资者决策过程的局限性。现有方法往往依赖静态问答或终端盈亏，缺乏对决策逻辑的深入分析。
核心思路：论文提出InvestLogicBench基准，通过记录和分析真实投资者的决策过程，提供一个更为动态和个性化的评估框架。该框架关注投资者的个人资料、市场事件、推理过程、决策和结果，强调逻辑一致性和事件基础。
技术框架：InvestLogicBench的整体架构包括五个主要模块：投资者个人资料（Profile）、可观察的市场事件（Events）、投资推理（Reasoning）、可执行的决策（Decision）和延迟结果（Outcome）。每个模块都记录了相关信息，并支持后续的分析和回放。
关键创新：最重要的技术创新在于引入了P→E→R→D→O的追踪机制，使得评估不仅限于结果，还能深入分析决策过程的逻辑基础。这一方法与传统的结果导向评估方法本质上不同。
关键设计：在设计上，InvestLogicBench强调了版本化的个人资料、时间来源的可追溯性、可检查的检索机制、决策账本和可回放的结果。这些设计确保了数据的完整性和可用性，支持更深入的分析。
🖼️ 关键图片
📊 实验亮点
在对四种领先的大语言模型进行评估时，逻辑合理性评分接近4/5，而事件基础的评分仅为0.8至2.8/5，显示出现有评估方法的局限性。这一结果强调了投资决策过程中的逻辑一致性与事件基础的重要性，揭示了传统方法可能掩盖的决策薄弱环节。
🎯 应用场景
该研究的潜在应用领域包括个性化金融顾问、投资决策支持系统以及教育培训等。通过提供更为全面的投资决策评估框架，能够帮助投资者更好地理解市场动态和自身决策的逻辑，从而提升投资效果。未来，该方法也可扩展至其他领域的个性化智能代理评估。
📄 摘要（原文）
Investment competence is inherently personalized: the same market evidence can justify different actions for investors with different goals, horizons, portfolios, and risk boundaries. Yet financial LLMs are evaluated either by static question answering or by terminal profit and loss. The former omits agency; the latter cannot reveal whether a profitable action was grounded, profile-consistent, or merely lucky. We ask whether the community is using the wrong ruler for consequential agents. We introduce \textsc{InvestLogicBench}, a process-native benchmark containing 201,247 documented decisions from 151 real-world investors. Each episode instantiates a \textbf{P$\rightarrow$E$\rightarrow$R$\rightarrow$D$\rightarrow$O} trace: investor \textit{Profile}, observable market \textit{Events}, investment \textit{Reasoning}, executable \textit{Decision}, and delayed \textit{Outcome}. The release includes profile construction, point-in-time event binding, structured logic, horizons, outcomes, and post-mortems, and supports comprehension, profile-conditioned generation, and end-to-end replay. Across four leading LLMs, logical plausibility remains near 4/5 while event grounding is only 0.8--2.8/5; return and process quality also disagree. These results expose polished but weakly grounded reasoning that outcome-only evaluation hides. We further argue that P$\rightarrow$E$\rightarrow$R$\rightarrow$D$\rightarrow$O should be a data-system interface, requiring versioned profiles, temporal provenance, inspectable retrieval, decision ledgers, and replayable outcomes. Finance is our stress test for a broader class of personalized, consequential agents.