Evolve on Graph: Self-Evolving Knowledge Graph Reasoning without Question Annotations

📄 arXiv: 2610.35598v1 📥 PDF

作者: Zongyuan Sun, Shuai Zhao, Ke Shu, Ziyue Zhu, Shangyang Wu, Yuanlin Lin, Tao Wang, Shiyue Li, Yingjun Du, Anh Tuan Luu, Haoran Luo

分类: cs.AI

发布日期: 2026-10-26

🔗 代码/项目: GITHUB

💡 一句话要点

提出Evolve on Graph框架以解决无QA注释的知识图推理问题

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture) 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 知识图谱 多跳推理 自我演化 图自对弈 符号逻辑 边界感知课程 大语言模型 无QA注释

📋 核心要点

  1. 现有知识图推理方法依赖于QA注释，缺乏注释的数据使得LLM的图推理能力难以提升。
  2. Evolve on Graph框架通过图自对弈实现LLM的自我演化，避免了对QA注释的依赖。
  3. 在六个基准测试中，EoG在Freebase、Wikidata和工业KG上表现优异，超越了多种现有方法。

📝 摘要（中文）

知识图谱（KGs）为多跳事实推理提供了可靠的外部知识，但在金融和工业等真实领域，大多数KG缺乏问题-答案（QA）注释。现有方法在没有QA注释的情况下难以提升大语言模型（LLM）的图推理能力。本文提出Evolve on Graph（EoG）框架，使LLM能够自我演化其图推理能力，无需任何QA注释。通过图自对弈，单个LLM交替充当提问者和回答者。为确保问题可验证，采用符号可验证拓扑合成（SVTS）在KG上采样推理拓扑，并执行相应的一阶逻辑查询，生成具有正确和完整答案集的拓扑骨架。实验结果表明，EoG在多个基准测试中超越了现有的提示、检索和基于代理的方法。

🔬 方法详解

问题定义：本文旨在解决在缺乏QA注释的情况下，如何提升大语言模型在知识图推理中的表现。现有方法依赖于人工或封闭模型生成的QA数据，限制了其灵活性和适应性。

核心思路：Evolve on Graph框架通过图自对弈的方式，让LLM在没有QA注释的情况下自我演化其推理能力。提问者和回答者的交替角色设计使得模型能够在互动中不断提升。

技术框架：该框架主要包括三个模块：提问者（Proposer）、回答者（Solver）和符号可验证拓扑合成（SVTS）。提问者生成多跳问题，回答者根据生成的拓扑骨架进行回答，SVTS负责确保问题的可验证性。

关键创新：最重要的创新在于通过图自对弈实现了LLM的自我演化，打破了对QA注释的依赖，且通过边界感知图课程（Boundary-Aware Graph Curriculum）动态调整问题难度。

关键设计：在设计中，SVTS用于生成推理拓扑，确保生成问题的可验证性；边界感知图课程根据回答者的得分变化来调整提问者的问题难度，确保问题始终在回答者的能力边界内。整体流程灵活且适应性强。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

在六个基准测试中，EoG框架在Freebase、Wikidata和工业KG上表现优异， consistently outperforming prompting、retrieval和agent-based方法，显示出在无QA注释情况下，LLM图推理能力的显著提升。

🎯 应用场景

该研究的潜在应用领域包括金融、医疗和工业等需要多跳推理的场景。通过提升知识图推理能力，EoG框架能够帮助企业在决策支持、智能问答和知识管理等方面实现更高效的知识利用，具有重要的实际价值和未来影响。

📄 摘要（原文）

Knowledge graphs (KGs) provide reliable external knowledge for multi-hop factual reasoning with large language models (LLMs), yet most KGs in real-world domains such as finance and industry lack question--answer (QA) annotations. Without such annotations, existing methods struggle to improve LLM graph reasoning: training-free agents cannot improve their exploration through interaction; reinforcement learning (RL) agents depend on QA data annotated by humans or synthesized by closed-source models; and training data is typically built offline, so its topology mix is fixed and cannot follow the agent's ability. We propose Evolve on Graph (EoG), a framework that lets an LLM self-evolve its graph reasoning without any QA annotations. Through Graph Self-Play, a single LLM alternates between a Proposer that poses questions and a Solver that answers them. To make questions verifiable, Symbolically Verifiable Topology Synthesis (SVTS) samples reasoning topologies on the KG and executes the corresponding first-order logic queries, yielding topology skeletons with correct and complete answer sets; guided by a skeleton, the Proposer explores the graph to pose a multi-hop question. To let task topologies follow the Solver, a Boundary-Aware Graph Curriculum rewards the Proposer by the Solver's score variance, keeping questions at the Solver's capability boundary so that complex topologies enter training as the Solver improves. On six benchmarks over Freebase, Wikidata, and an industrial KG, EoG consistently outperforms prompting-, retrieval-, and agent-based methods, showing that LLM graph reasoning can improve through self-play without QA annotations. Our code is available at https://github.com/Szy5/EoG