Clearing the FoG: Training KG Agents to Retrieve the Evidence Behind Their Answers

📄 arXiv: 2610.37405v1 📥 PDF

作者: Zongyuan Sun, Shuai Zhao, Yingjun Du, Ke Shu, Ziyue Zhu, Haoran Luo

分类: cs.AI

发布日期: 2026-10-27

💡 一句话要点

提出FoG框架以解决KG代理缺乏证据支持的问题

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 知识图谱 证据检索 语言模型 问答系统 机器学习

📋 核心要点

  1. 现有KG代理仅将知识图谱视为答案来源，缺乏对支持证据的检索，导致答案正确但缺乏可追溯性。
  2. 本文提出FoG框架，通过证据驱动的合成和ECPR，训练KG代理检索答案背后的支持三元组。
  3. 在三个KGQA基准上的实验结果显示，FoG使得3B-4B的开源代理在答案准确性和证据覆盖率上显著优于更大基线。

📝 摘要（中文）

大型语言模型（LLMs）能够正确回答许多事实性问题，但正确答案并不一定有支持证据。现有的知识图谱（KG）代理仅将KG视为答案来源，而忽视了证据的获取。本文提出FoG框架，旨在训练KG代理检索答案背后的证据。FoG包括证据驱动的合成、KG交互代理和证据覆盖过程奖励（ECPR）。通过构建可验证的子问题，确保每个问题都包含支持三元组，实验表明FoG使得3B-4B的开源代理在答案准确性和证据覆盖率上显著超越更大基线，并实现零-shot跨KG迁移。

🔬 方法详解

问题定义：本文旨在解决现有KG代理在回答问题时缺乏支持证据的问题。现有方法的训练数据仅包含答案而不包括证据，导致代理在回答时常常缺乏可追溯性和审计性。

核心思路：FoG框架的核心思想是通过证据驱动的合成和奖励机制，促使KG代理在回答问题时同时检索支持三元组。通过构建可验证的子问题，确保每个问题都能自然地包含其支持证据。

技术框架：FoG框架主要包括三个模块：证据驱动的合成模块、KG交互代理和证据覆盖过程奖励（ECPR）。合成模块通过递归隐藏显式实体，生成包含支持三元组的问题；KG交互代理负责记录返回的三元组；ECPR则为首次检索到的支持三元组提供奖励。

关键创新：FoG的创新之处在于将KG视为答案和证据的双重来源，通过设计合成过程和奖励机制，确保代理在回答时能够检索到支持证据。这与现有方法仅关注答案的做法形成鲜明对比。

关键设计：在设计上，FoG采用了递归合成技术，确保每个问题都能包含支持三元组。同时，ECPR的设计使得每个支持三元组都能在首次检索时获得奖励，从而激励代理在回答时关注证据的检索。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果表明，FoG框架使得3B-4B的开源KG代理在答案准确性和证据覆盖率上显著优于更大规模的基线模型，具体提升幅度达到XX%（具体数据需根据实验结果填写），并实现了零-shot跨KG迁移，展示了其广泛的适用性和有效性。

🎯 应用场景

该研究的潜在应用领域包括智能问答系统、知识图谱增强的对话系统以及信息检索等。通过提高KG代理的证据检索能力，能够增强系统的透明性和可信度，未来可能在法律、医疗等需要高可靠性的信息检索场景中发挥重要作用。

📄 摘要（原文）

Large language models (LLMs) can answer many factual questions correctly, but a correct answer is not necessarily a supported one. For an LLM agent, a knowledge graph (KG) plays two roles: as a source of answers, it supplies facts that the model lacks; as a source of evidence, it supplies the supporting triples that make an answer traceable and auditable. However, existing KG agents treat the KG only as a source of answers: their training data carries answers but not evidence, and their training rewards check the answer but not the retrieved evidence, so agents often answer correctly without retrieving the supporting triples. We propose FoG, a framework that trains KG agents to retrieve the evidence behind their answers. FoG consists of evidence-grounded synthesis, a KG interaction agent, and an evidence-coverage process reward (ECPR): the synthesis recursively hides explicit entities behind verifiable sub-questions, so that every question carries its supporting triples by construction; the agent records the triples returned by the KG; and ECPR credits each supporting triple to the turn that first retrieves it. Experiments on three KGQA benchmarks demonstrate that FoG enables 3B--4B open-source agents to outperform substantially larger baselines in answer accuracy and evidence coverage, with zero-shot cross-KG transfer.