CoEvoKG: Co-Evolving Knowledge Graphs with Self-Evolving Search Agents

📄 arXiv: 2608.01904v1 📥 PDF

作者: Zhaoyang Li, Zenghuang Fu, Qiuyuan Ai, Ping Jiang, Haoyu Wu, Minghui Wu, Chenxu Zhao, Jie Song, Guannan He

分类: cs.AI

发布日期: 2026-08-03

备注: 10 pages, 4 figures

🔗 代码/项目: GITHUB

💡 一句话要点

提出CoEvoKG框架以解决自我演化搜索代理知识积累不足问题

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture) 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 知识图谱 强化学习 搜索代理 任务生成 自我演化

📋 核心要点

  1. 现有自我对弈搜索代理在成功搜索后未能有效利用获得的知识，导致知识积累不足。
  2. CoEvoKG框架通过将知识图谱与搜索代理结合，创建可验证的训练任务和持久的证据记忆，实现知识的有效积累。
  3. 在六个问答基准上，CoEvoKG在多个模型上提升了宏观平均准确率，显示出其优越性。

📝 摘要（中文）

大型语言模型可以通过强化学习提升搜索代理的性能，但现有自我对弈代理在成功搜索后会丢失所获得的知识。我们提出了CoEvoKG框架，将知识图谱转化为可验证的训练任务源和持久的证据记忆。CoEvoKG联合训练任务生成器和搜索代理，生成多跳问题并通过图证据支持的实体路径学习奖励。当搜索成功时，CoEvoKG验证并去重检索到的证据，并将其写回相应的图节点和边。未来的轮次将重用这个丰富的图进行任务生成和奖励计算，形成模型自我演化与知识积累的闭环。在六个问答基准上的实验表明，CoEvoKG在多个模型上显著提升了准确率。

🔬 方法详解

问题定义：本论文旨在解决现有自我对弈搜索代理在成功搜索后无法有效利用知识的问题，导致知识积累不足，影响模型性能。

核心思路：CoEvoKG框架通过将知识图谱作为训练任务的来源和证据记忆，联合训练任务生成器和搜索代理，形成闭环的知识积累机制。

技术框架：CoEvoKG的整体架构包括任务生成器和搜索代理两个主要模块。任务生成器从知识图谱中采样实体链生成多跳问题，而搜索代理则根据奖励学习回答的正确性和支持图证据的搜索轨迹。

关键创新：CoEvoKG的创新在于将知识图谱与搜索代理的训练过程结合起来，实现了知识的持续积累和利用，区别于传统方法的单一任务生成或搜索策略。

关键设计：在设计中，任务生成器和搜索代理的损失函数经过精心设置，以确保生成的任务具有挑战性且能够有效评估代理的能力，同时在图证据的去重和验证方面也进行了优化。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

在六个问答基准（如NQ、TriviaQA等）上的实验结果显示，CoEvoKG在Qwen2.5-3B-Instruct、Qwen2.5-7B-Instruct和Llama-3.1-8B-Instruct模型上分别提升了宏观平均准确率11.2、10.1和11.6个百分点。此外，在相同训练预算下，CoEvoKG在自我对弈和强化学习基线上的表现也提升了2.6至3.7个百分点。

🎯 应用场景

CoEvoKG框架在问答系统、智能搜索引擎和知识管理等领域具有广泛的应用潜力。通过持续积累和利用知识，能够显著提升系统的智能水平和用户体验，未来可能推动更高效的知识图谱构建和智能问答技术的发展。

📄 摘要（原文）

Large language models can improve with reinforcement learning for search agents, yet existing self play agents repeatedly generate tasks while discarding the knowledge gained during successful searches. We introduce CoEvoKG, a framework that turns a knowledge graph into both a source of verifiable training tasks and a persistent evidence memory for agent evolution. CoEvoKG jointly trains a task generator and a search agent: the generator creates multihop questions from entity chains sampled from the knowledge graph, while the agent learns from rewards for answer correctness and search trajectories whose entity paths are supported by graph evidence. When a search succeeds, CoEvoKG verifies and deduplicates the retrieved evidence, then writes it back to the corresponding graph nodes and edges. Future rounds reuse this enriched graph for task generation and reward computation, closing the loop between model self evolution and knowledge accumulation. Experiments on six QA benchmarks (NQ, TriviaQA, PopQA, HotpotQA, 2WikiMultiHopQA, and Bamboogle) with three backbone models show that CoEvoKG improves macro average accuracy over the corresponding base models by +11.2, +10.1, and +11.6 points on Qwen2.5-3B-Instruct, Qwen2.5-7B-Instruct, and Llama-3.1-8B-Instruct, respectively. Under matched training budgets, CoEvoKG further improves over competitive self play baselines and RL baselines for search agents by +2.6 to +3.7 macro average points across the three backbones. Code is available at https://github.com/lazzy1225/CoEvoKG.