Scaling LLM Knowledge Boundaries via Distribution-Optimized Synthesis

📄 arXiv: 2606.23271v1 📥 PDF

作者: Songze Li, Yarong Lan, Zhongpu Bo, Zhaoyang Wang, Zhiqiang Liu, Yuan Yuan, Chengtao Gan, Menghao Qian, Enpei Niu, Xiaoke Guo, Yuanxiang Liu, Zhaoyan Gong, Xiangjin Hu, Liangyurui Liu, Jingdian Lu, Lei Liang, Jun Zhou, Huajun Chen, Wen Zhang

分类: cs.CL

发布日期: 2026-06-22

备注: ACL ARR May (EMNLP 2026) Submission

💡 一句话要点

提出KDoS框架以优化大语言模型的知识注入

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 知识注入 合成数据 大型语言模型 知识分布 优化框架 反馈机制 自然语言处理

📋 核心要点

  1. 现有的知识注入方法缺乏对知识分布的关注，导致知识边界扩展受限。
  2. 提出KDoS框架，通过引入知识密度和三阶段反馈机制，实现分布优化的合成。
  3. 实验结果表明，KDoS在多个知识基准上优于现有方法，且最佳知识分布在不同模型和规模中稳定有效。

📝 摘要（中文）

通过合成数据进行知识注入对于增强大型语言模型（LLMs）至关重要。然而，现有的合成方法仅停留在预设的标记数量或固定的数据比例上，缺乏对知识分布的关注，导致某些领域知识稀疏而其他领域冗余，从而限制了LLM的知识边界。本文从分布的角度重新审视知识注入，假设存在一种最佳知识分布以最大化知识边界的扩展。我们提出了KDoS（知识分布优化合成）框架，引入知识密度，通过三阶段反馈机制驱动合成，从盲目生成转向分布优化合成。我们构建了基于维基百科的合成数据，并在不同规模的模型上进行了实验，发现最佳知识分布能够持续最大化边界扩展，并且KDoS在六个知识基准上优于基线方法。我们的研究为基于合成数据的知识注入提供了新的视角和实用框架。

🔬 方法详解

问题定义：本文旨在解决现有知识注入方法在知识分布上的不足，导致某些领域知识稀疏而其他领域冗余，限制了大型语言模型的知识边界扩展。

核心思路：我们假设存在一种最佳知识分布，能够最大化知识边界的扩展。KDoS框架通过引入知识密度，利用三阶段反馈机制优化合成过程，从而实现更有效的知识注入。

技术框架：KDoS框架包括三个主要阶段：第一阶段为知识分布分析，识别不同领域的知识密度；第二阶段为合成数据生成，依据分析结果生成合成数据；第三阶段为反馈优化，基于模型性能反馈调整合成策略。

关键创新：KDoS的核心创新在于引入知识密度的概念，通过分布优化的合成方法，显著提升了知识边界的扩展能力。这一方法与传统的固定比例合成方法本质上不同。

关键设计：在KDoS中，我们设置了动态调整的参数以优化知识密度，并设计了特定的损失函数来平衡不同领域的知识生成。此外，网络结构采用了多层次的反馈机制，以确保合成数据的质量和有效性。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果显示，KDoS在六个知识基准上均优于基线方法，最佳知识分布能够持续最大化知识边界扩展，且在不同模型（从0.6B到16B）和数据规模（从1B到5B标记）中表现稳定。具体而言，KDoS在知识边界扩展方面的提升幅度显著，验证了其有效性。

🎯 应用场景

该研究的潜在应用领域包括自然语言处理、知识图谱构建和智能问答系统等。通过优化知识注入过程，KDoS能够提升大型语言模型在特定领域的表现，进而推动智能系统在实际应用中的有效性和可靠性。未来，KDoS框架可能对合成数据驱动的AI研究产生深远影响。

📄 摘要（原文）

Knowledge injection via synthetic data is crucial for enhancing Large Language Models (LLMs). However, current synthesis methods simply stop at preset token counts or fixed data ratios, lacking awareness of knowledge distribution. This results in some domains being sparse while others are redundant, limiting LLM knowledge boundaries. We revisit knowledge injection from a distribution perspective and hypothesize that an optimal knowledge distribution exists to maximize knowledge boundary expansion. We propose KDoS (Knowledge Distribution-optimized Synthesis), a framework that introduces knowledge density to drive synthesis through a three-stage feedback mechanism, shifting from blind generation to distribution-optimized synthesis. We construct Wikipedia-based synthetic data with varying knowledge distributions and conduct experiments on models from 0.6B to 16B (Qwen, Ling, LLaMA) and data scales from 1B to 5B tokens. Our key findings are: (1) an optimal knowledge distribution consistently maximizes boundary expansion; (2) this distribution is stable across backbones and scales; (3) KDoS outperforms baselines across six knowledge benchmarks. Our work offers a new perspective and practical framework for synthetic data-driven knowledge injection.