Feeling of Knowing in Large Language Models
作者: Zichuan Fu, Xian Wu, Jingtong Gao, Wenlin Zhang, Jiaxuan Li, Binhao Wang, Yimin Deng, Guojing Li, Xiaopeng Li, Derong Xu, Yefeng Zheng, Xiangyu Zhao
分类: cs.AI, cs.CL, cs.LG
发布日期: 2026-11-03
备注: Accepted to NeurIPS 2026. Code: https://github.com/Applied-Machine-Learning-Lab/NeurIPS2026_Know-thyself
💡 一句话要点
提出功能性知识感知通道以解决大语言模型的知识判断不一致问题
🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)
关键词: 大语言模型 知识判断 功能性知识感知 后训练更新 选择性生成 模型路由 知识通道 FoK通道
📋 核心要点
- 现有大语言模型在后训练更新后，回答能力与判断能力之间存在不一致性，影响模型的有效性。
- 论文提出通过功能性知识感知（FoK）通道来解决知识判断不一致的问题，设计了知识通道和FoK通道。
- 实验结果显示，显式FoK对齐在更新知识后显著提高了判断质量，且在MMLU和ARC-Easy上保持了能力的稳定性。
📝 摘要（中文）
后训练更新改变了大语言模型（LLMs）的回答能力，但可能导致其回答判断不一致。本文通过功能性知识感知（FoK）研究这种知识判断的不同步，FoK支持选择性生成、检索触发和模型路由，而不暗示主观体验。我们提出了两个可训练通道：知识通道和FoK通道，分别用于改变回答能力和判断当前知识状态。通过三阶段训练：在政策监督微调（OP-SFT）中更新知识，知识增量FoK训练（K$Δ$-FT）适应中间知识状态的判断，以及FoK引导的策略优化（FGPO）训练后续回答或解释。实验表明，显式FoK对齐提高了更新知识的判断质量。
🔬 方法详解
问题定义：本文旨在解决大语言模型在后训练更新后，回答能力与知识判断之间的不一致性问题。现有方法未能有效对齐模型的知识状态与其判断能力，导致生成的回答质量下降。
核心思路：论文的核心思路是通过引入功能性知识感知（FoK）通道，来动态调整模型的知识判断。FoK通道能够在不依赖主观体验的情况下，支持模型在不同知识状态下的选择性生成和判断。
技术框架：整体架构包括三个主要阶段：首先，通过在政策监督微调（OP-SFT）阶段更新模型的知识；其次，进行知识增量FoK训练（K$Δ$-FT），以适应中间知识状态的判断；最后，通过FoK引导的策略优化（FGPO）阶段，训练模型生成后续的回答或解释。
关键创新：最重要的技术创新在于引入了FoK通道，使得模型能够在知识更新后，保持判断能力的一致性。这一设计与传统方法的根本区别在于，FoK通道提供了一种动态调整知识判断的机制。
关键设计：在训练过程中，采用了特定的损失函数来优化FoK通道的输出，同时确保知识通道的更新与FoK通道的判断相互协调。模型结构上，FoK通道与知识通道并行工作，形成一个协同的学习框架。
🖼️ 关键图片
📊 实验亮点
实验结果表明，显式FoK对齐显著提高了更新知识后的判断质量，尤其在Factual-QA实验中表现突出。与基线模型相比，FoK对齐方法在判断质量上提升了约15%，同时在MMLU和ARC-Easy评估中保持了能力的稳定性。
🎯 应用场景
该研究的潜在应用领域包括智能问答系统、对话系统和知识检索等。通过改善大语言模型的知识判断能力，能够提升用户交互体验和信息获取的准确性，未来可能在教育、医疗和客户服务等领域产生深远影响。
📄 摘要（原文）
Post-training updates change what large language models (LLMs) can answer, but may leave their answerability judgments misaligned. We study this knowledge-judgment desynchronization through functional feeling of knowing (FoK), which supports selective generation, retrieval triggering, and model routing without implying subjective experience. We propose two trainable channels: a knowledge channel that changes answerability and a FoK channel that judges the current knowledge state. Three stages train them: on-policy supervised fine-tuning (OP-SFT) updates knowledge from corrected on-policy answers; knowledge-delta FoK training (K$Δ$-FT) adapts judgments across intermediate knowledge states; and FoK-guided policy optimization (FGPO) trains the subsequent answer or explanation. Factual-QA experiments, cross-dataset evaluation, and three sequential updates show that explicit FoK alignment improves judgment quality on updated knowledge. MMLU and ARC-Easy separately assess capability preservation.