Robust Knowledge Editing via Explicit Reasoning Chains for Distractor-Resilient Multi-Hop QA

📄 arXiv: 2509.01468v1 📥 PDF

作者: Yuchen Wu, Liang Ding, Li Shen, Dacheng Tao

分类: cs.CL

发布日期: 2025-09-01

备注: EMNLP 2025 Findings

💡 一句话要点

提出Reason-KE框架，通过显式推理链实现对LLM的鲁棒知识编辑，提升多跳QA抗干扰能力。

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 知识编辑 大型语言模型 多跳问答 推理链 鲁棒性

📋 核心要点

  1. 现有知识编辑方法在噪声环境下表现不佳，易受干扰信息影响，且依赖复杂迭代流程。
  2. Reason-KE通过显式推理链，引导LLM进行事实确认、相关性判断、选择性应用和最终推理。
  3. 实验表明，Reason-KE显著提升了LLM在多跳QA任务中的准确率和抗干扰能力，达到新的SOTA。

📝 摘要（中文）

大型语言模型（LLMs）蕴含着海量的世界知识，但一旦训练完成就处于静态状态，通过完全重新训练来及时整合新兴事实的成本非常高昂。因此，知识编辑技术应运而生，旨在将特定事实注入或覆盖到LLMs中。然而，这些技术要么过度依赖表面线索，要么产生复杂、迭代的流程，在嘈杂的多跳条件下崩溃。我们引入了Reason-KE，这是一个基于端到端推理链的编辑框架，它引导预训练的LLM通过四个结构化阶段——事实确认、相关性确定、选择性应用和最终推理——以单次过滤掉干扰因素。在包含多达四个不相关事实的MQuAKE-CF上训练后，Reason-KE将Qwen2.5-7B的多跳QA准确率提升至90.2%，同时在严重干扰下仅下降6.3%，在答案泄露时下降<1%。我们的定量分析证实了Reason-KE的鲁棒性和效率，为可靠的LLM知识更新建立了一个新的最先进水平。

🔬 方法详解

问题定义：现有知识编辑方法在处理包含干扰信息的多跳问答任务时，容易受到表面线索的误导，或者需要复杂的迭代流程，导致性能下降甚至崩溃。这些方法无法有效地识别和过滤掉无关信息，从而影响最终的答案准确性。

核心思路：Reason-KE的核心思路是通过引入显式的推理链，让LLM能够逐步地进行事实确认、相关性判断、选择性应用和最终推理。这种结构化的推理过程可以帮助LLM更好地理解问题和上下文，从而更准确地识别和过滤掉干扰信息，提高答案的准确性。

技术框架：Reason-KE框架包含四个主要阶段：1) 事实确认：验证输入信息是否为已知事实；2) 相关性确定：判断每个事实与当前问题的相关程度；3) 选择性应用：根据相关性得分，选择性地应用相关事实；4) 最终推理：基于选择的事实进行推理，得出最终答案。整个框架采用端到端的方式进行训练，无需复杂的迭代流程。

关键创新：Reason-KE的关键创新在于引入了显式的推理链，将知识编辑过程分解为多个可解释的步骤。与现有方法相比，Reason-KE能够更有效地识别和过滤掉干扰信息，提高了知识编辑的鲁棒性和准确性。此外，Reason-KE采用端到端训练方式，简化了训练流程，提高了效率。

关键设计：Reason-KE使用预训练的LLM作为基础模型，并在此基础上添加了四个结构化的推理阶段。每个阶段都使用特定的prompt进行引导，例如，在事实确认阶段，prompt会引导LLM判断输入信息是否为已知事实。相关性确定阶段使用注意力机制来计算每个事实与问题的相关性得分。损失函数包括交叉熵损失和对比损失，用于优化模型的推理能力和抗干扰能力。具体参数设置未知。

📊 实验亮点

Reason-KE在MQuAKE-CF数据集上进行了评估，结果表明，Reason-KE将Qwen2.5-7B的多跳QA准确率提升至90.2%，同时在严重干扰下仅下降6.3%，在答案泄露时下降<1%。这些结果表明，Reason-KE具有很强的鲁棒性和抗干扰能力，显著优于现有知识编辑方法。

🎯 应用场景

Reason-KE可应用于需要频繁更新知识的LLM应用场景，例如智能客服、知识图谱问答、医疗诊断等。该方法能够快速、准确地将新知识注入LLM，并有效避免干扰信息的干扰，提高LLM的可靠性和实用性。未来，该技术有望应用于更复杂的知识密集型任务，并促进LLM在各个领域的广泛应用。

📄 摘要（原文）

Large language models (LLMs) encode vast amounts of world knowledge but remain static once trained, making the timely integration of emerging facts prohibitively expensive via full retraining. Knowledge-editing techniques have thus emerged to inject or overwrite specific facts into LLMs, yet they either over-rely on superficial cues or incur complex, iterative pipelines that collapse under noisy, multi-hop conditions. We introduce Reason-KE, an end-to-end reasoning-chain-based editing framework that steers a pretrained LLM through four structured stages-fact acknowledgment, relevance determination, selective application, and final reasoning-to filter distractors in a single pass. Trained on MQuAKE-CF with up to four irrelevant facts, Reason-KE elevates Qwen2.5-7B's multi-hop QA accuracy to 90.2% while suffering merely a 6.3% drop under heavy distraction and <1% when answers are leaked. Our quantitative analysis confirms Reason-KE's resilience and efficiency, establishing a new state-of-the-art for reliable LLM knowledge updates.