KbSD: Knowledge Boundary aware Self-Distillation for Behavioral Calibration in Agentic Search

📄 arXiv: 2606.29863v1 📥 PDF

作者: Tao Feng, Xinke Jiang, Chao Wu

分类: cs.CL

发布日期: 2026-06-29

💡 一句话要点

提出KbSD以解决知识边界校准中的稀疏奖励问题

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture) 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 知识边界校准 自蒸馏 强化学习 动态检索 模型优化

📋 核心要点

  1. 现有的强化学习方法在知识边界校准中面临奖励稀疏性的问题，导致决策过程缺乏指导。
  2. KbSD框架通过密集的token级监督和象限自适应优化，提供更有效的知识边界信号，改善决策质量。
  3. 实验结果显示，KbSD在多个基准测试中超越强基线，尤其在稀疏奖励信息不足的情况下，提升效果显著。

📝 摘要（中文）

Agentic search为大型语言模型提供了动态检索能力，但现有的强化学习方法在知识边界校准中受到奖励稀疏性的限制。为了解决这一问题，本文提出了KbSD（知识边界自蒸馏）框架，通过密集的token级监督、结果级稀疏奖励和象限自适应优化来改善决策过程。KbSD构建了一个与学生模型架构相同的提示增强教师模型，接收明确的知识边界信号，以生成经过校准的推理示范。实验结果表明，KbSD在多个基准上显著提高了任务准确性和幻觉缓解能力，尤其在稀疏奖励信息最少的困难象限中表现最佳。

🔬 方法详解

问题定义：本文旨在解决在知识边界校准中，现有强化学习方法因奖励稀疏性而导致的决策指导不足的问题。现有方法通常依赖于二元奖励，无法有效引导推理过程。

核心思路：KbSD框架通过引入密集的token级监督和象限自适应优化，利用知识边界信号来生成经过校准的推理示范，从而改善决策过程。这样的设计使得模型能够在不同知识状态下做出更为精准的判断。

技术框架：KbSD的整体架构包括一个与学生模型相同的教师模型，接收知识边界信号（如参数确定性、检索质量和真实答案），并生成推理示范。框架还引入了象限自适应蒸馏目标，以适应不同知识状态下的推理分布。

关键创新：KbSD的创新在于信息不对称的自蒸馏机制，允许在不需要更大外部模型的情况下实现密集监督。通过象限自适应的蒸馏目标，模型能够在不同的知识状态下进行更有效的学习。

关键设计：在设计中，采用了反向KL散度用于集中整合，正向KL散度用于多样化拒绝，以及帕累托最优双向KL散度用于需要精度和覆盖的非对称象限。

🖼️ 关键图片

fig_0
fig_1

📊 实验亮点

在多个基准测试中，KbSD显著提高了任务准确性和幻觉缓解能力，尤其在稀疏奖励信息最少的困难象限中，表现出最大的提升，超越了强基线，验证了其有效性。

🎯 应用场景

KbSD框架在知识边界校准方面的创新为大型语言模型的动态检索能力提供了更为可靠的支持，具有广泛的应用潜力。该研究可应用于智能助手、信息检索系统和自动问答等领域，提升系统的决策质量和用户体验。未来，KbSD的理念也可能推动其他领域的自蒸馏技术发展。

📄 摘要（原文）

Agentic search equips large language models with dynamic retrieval abilities, but existing reinforcement learning methods remain limited by reward sparsity in knowledge boundary calibration -- deciding when to trust parametric memory, when to rely on retrieved evidence, and when to abstain. Binary rewards can penalize undesirable outcomes, but provide little guidance on the reasoning process required to make calibrated decisions across different knowledge states. To address this, we propose KbSD (Knowledge boundary Self-Distillation), a framework that tackles this limitation through dense token-level supervision, outcome-level sparse rewards, and quadrant-adaptive optimization. KbSD constructs a hint-augmented teacher, architecturally identical to the student, that receives explicit knowledge boundary signals -- including parametric certainty, retrieval quality, and ground-truth answers -- to generate calibrated reasoning demonstrations. This information-asymmetric self-distillation enables dense supervision without requiring a larger external model. To further account for the heterogeneous reasoning distributions across knowledge states, we introduce a quadrant-adaptive distillation objective: reverse KL for concentrated integration, forward KL for diverse refusal, and Pareto-optimal bidirectional KL for asymmetric quadrants requiring both precision and coverage. Experiments on multiple benchmarks show that KbSD consistently improves both task accuracy and hallucination mitigation over strong baselines, with the largest gains appearing in the challenging quadrants where sparse rewards are least informative.