LEDGERMIND: Provenance-Constrained Multimodal Agentic Reasoning with a Structured Evidence Ledger

📄 arXiv: 2607.28374v1 📥 PDF

作者: Enjun Du, Hange Zhou, Chenxu Du, Siyi Liu, Zirong Chen, Ziyu Zheng, Yongqi Zhang

分类: cs.LG

发布日期: 2026-07-30

💡 一句话要点

提出LedgerMind以解决多模态推理中的证据追溯问题

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 多模态推理 证据追溯 智能体 视觉问答 结构化证据 推理透明性 验证与修复 深度学习

📋 核心要点

  1. 现有多模态智能体在视觉问答中评估主要依赖最终答案准确性，无法揭示推理过程中的潜在问题。
  2. 本文提出LedgerMind，通过结构化证据账本对多模态智能体的推理过程进行约束，确保推理的透明性和可追溯性。
  3. 实验结果显示，LedgerMind在多个基准测试中显著提高了答案的准确性和推理过程的可信度。

📝 摘要（中文）

多模态智能体在视觉问答中越来越多地采用多步骤轨迹，交替进行感知、检索和推理。然而，现有评估方法主要依赖最终答案的准确性，无法判断正确答案是否通过有据可依的证据、语言先验或偶然错误抵消而得。为此，本文提出将多模态智能体轨迹视为一种受证据追溯约束的状态机，工具输出被规范化为结构化证据账本，作为轨迹状态，后续推理和决策声明仅可引用活跃账本条目。我们设计了LedgerMind，并通过三层基础协议、适应性双路径调度器和事件触发的验证与修复引擎来增强其能力。实验表明，LedgerMind在多个多模态推理基准上提高了答案准确性和轨迹级别的可信度。

🔬 方法详解

问题定义：本文旨在解决多模态智能体在推理过程中缺乏透明性和可追溯性的问题。现有方法无法有效区分答案的来源，导致推理过程中的错误难以识别。

核心思路：LedgerMind的核心思路是将多模态智能体的推理过程视为受证据追溯约束的状态机，确保所有推理和决策都基于结构化证据账本中的条目，从而提高推理的可靠性和可验证性。

技术框架：LedgerMind的整体架构包括三个主要模块：结构化证据账本、三层基础协议和事件触发的验证与修复引擎。结构化证据账本记录所有工具输出，三层基础协议确保推理的深度与问题复杂性相匹配，而验证与修复引擎则在推理过程中进行实时检查和修复。

关键创新：LedgerMind的主要创新在于引入了结构化证据账本和受证据追溯约束的状态机设计，使得推理过程中的每一步都可以追溯到具体的证据来源，这与传统方法的黑箱推理形成鲜明对比。

关键设计：在设计中，LedgerMind采用了适应性双路径调度器，根据问题的复杂性动态调整推理深度，并确保所有推理过程中的状态转换均有工具生成的证据支持，避免了信息的无效引入。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

在多个多模态推理基准测试中，LedgerMind显著提高了答案的准确性，具体提升幅度达到10%以上。同时，推理过程的可信度也得到了显著改善，验证与修复引擎有效降低了错误传播的风险。

🎯 应用场景

LedgerMind的研究成果在多个领域具有广泛的应用潜力，包括智能问答系统、自动化客服、教育辅导等。通过提高推理过程的透明性和可信度，该方法能够帮助用户更好地理解智能体的决策过程，从而增强用户信任。未来，该技术还可能推动更复杂的多模态交互系统的发展。

📄 摘要（原文）

Multimodal agents for visual question answering increasingly operate as multi-step trajectories that interleave perception, retrieval, and reasoning, yet evaluation still largely reduces to final-answer accuracy. This aggregate signal cannot tell whether a correct answer was reached through grounded evidence, language priors, or accidental error cancellation. We propose to treat a multimodal agent trajectory as a provenance-constrained state machine: tool outputs are normalized into a Structured Evidence Ledger that serves as the trajectory state, downstream reasoning and decision claims may cite only active ledger entries, grounding is checked at the entity and numeric level, and repair is realized as typed state transitions that cannot introduce content without tool-produced provenance. We instantiate this design as LedgerMind (Provenance-Constrained Multimodal Agentic Reasoning with a Structured Evidence Ledger), augmented by a Three-Layer Grounding Protocol, an Adaptive Dual-Path Dispatcher that matches reasoning depth to question complexity, and an Event-Triggered Verification-and-Repair engine with a formal provenance non-amplification guarantee. We use LedgerMind to target four recurring failure patterns that final-answer accuracy tends to obscure: unsupported intermediate reasoning, citation-backed entity hallucination (Phantom Grounding), over-reasoning on simple queries, and repair-time amplification. Experiments across multiple multimodal reasoning benchmarks and backbone MLLMs show that LedgerMind improves both answer accuracy and trajectory-level faithfulness.