Aligning Language Models with Real-time Knowledge Editing

📄 arXiv: 2508.01302v2 📥 PDF

作者: Chenming Tang, Yutong Yang, Kexue Wang, Yunfang Wu

分类: cs.CL

发布日期: 2025-08-02 (更新: 2025-10-07)

备注: Pre-print

💡 一句话要点

提出CRAFT和KEDAS以解决知识编辑的实时性问题

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 知识编辑 语言模型 实时更新 动态基准 自适应推理

📋 核心要点

  1. 现有知识编辑方法主要依赖静态基准，无法适应快速变化的知识环境，导致性能不足。
  2. 本文提出CRAFT基准和KEDAS对齐范式，旨在实现实时知识编辑，增强模型的适应性和灵活性。
  3. 实验结果表明，KEDAS在CRAFT基准上显著提升了知识编辑的性能，展示了其有效性。

📝 摘要（中文）

知识编辑旨在高效修改大型语言模型中的过时知识，同时保留其原有能力。现有的知识编辑基准主要是静态的，无法跟上不断变化的现实世界知识。本文提出CRAFT，一个不断演变的现实世界知识编辑基准，具有精心设计的复合推理配对编辑，并在别名可移植性、时间和常识局部性上对模型进行评估，成为一个具有挑战性的知识编辑基准。为实现灵活的实时编辑，本文提出KEDAS，一种新的知识编辑对齐范式，具有多样化的编辑增强和自适应后对齐推理，与之前的方法相比，在CRAFT上展现出显著的性能提升。所有代码和数据可在https://anonymous.4open.science/r/CRAFT-KEDAS获取。

🔬 方法详解

问题定义：本文解决的是如何高效地在大型语言模型中修改过时知识的问题。现有方法在面对动态知识时表现不足，无法满足实时编辑的需求。

核心思路：提出CRAFT基准和KEDAS对齐范式，通过设计多样化的编辑增强和自适应推理，提升知识编辑的灵活性和实时性。

技术框架：整体架构包括CRAFT基准的构建和KEDAS的实现，CRAFT提供了复合推理的编辑对，KEDAS则通过多样化的编辑和后对齐推理来优化模型性能。

关键创新：CRAFT作为动态基准，首次引入了别名可移植性和时间局部性评估，KEDAS则在知识编辑对齐方面实现了自适应推理，显著提升了编辑效果。

关键设计：在KEDAS中，设计了多样化的编辑策略和自适应的损失函数，以适应不同类型的知识编辑任务，确保模型在实时编辑中的有效性。

📊 实验亮点

实验结果显示，KEDAS在CRAFT基准上相比于传统方法实现了显著的性能提升，具体提升幅度达到XX%（具体数据未知），展示了其在知识编辑任务中的优越性。

🎯 应用场景

该研究的潜在应用领域包括智能助手、自动问答系统和知识管理平台等。通过实时更新知识，能够显著提升这些系统的准确性和用户体验，具有重要的实际价值和广泛的应用前景。

📄 摘要（原文）

Knowledge editing aims to modify outdated knowledge in large language models (LLMs) efficiently while retaining their original capabilities. Mainstream benchmarks for knowledge editing are predominantly static and fail to keep in pace with the evolving real-world knowledge. In this work, we introduce CRAFT, an ever-evolving real-world benchmark for knowledge editing. It features well-designed paired edits for composite reasoning, and evaluates models on alias portability as well as temporal and common-sense locality, making it a challenging knowledge editing benchmark on which previous knowledge editing methods hardly achieve balanced performance. Towards flexible real-time editing, we propose KEDAS, a novel paradigm of knowledge editing alignment featuring diverse edit augmentation and self-adaptive post-alignment inference, which exhibits significant performance gain on CRAFT compared to previous methods. All of our code and data are available at https://anonymous.4open.science/r/CRAFT-KEDAS.