DynEdit: Dynamic Entropy-Guided Sequential Editing for Large Language Models

📄 arXiv: 2610.34768v1 📥 PDF

作者: Jinhu Fu, Yan Bai, Yihang Lou, Li Sun, Jiahong Wu, Xiangxiang Chu, Sen Su

分类: cs.CL, cs.AI

发布日期: 2026-10-26

备注: Accepted by main conference of NeurIPS 2026 (poster)

💡 一句话要点

提出DynEdit以解决大语言模型知识编辑的挑战

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 知识编辑 大型语言模型 动态框架 标记级熵 信息密集标记 自然语言处理 模型优化

📋 核心要点

  1. 现有的知识编辑方法在处理长序列知识时存在覆盖不足和均匀分配的问题，导致编辑效果不理想。
  2. DynEdit通过引入标记级熵来指导编辑过程，优先处理高熵区域和信息密集的标记，从而提高编辑效果。
  3. 在三个基准测试和两个基础模型上，DynEdit在多种长文本编辑任务中表现优异，BLEU分数提升高达14.0。

📝 摘要（中文）

知识编辑旨在更新大型语言模型中过时或不正确的知识，而无需进行全面的重训练。现有的参数编辑方法在长序列知识上存在局限：单点编辑器对扩展目标的覆盖不足，而固定块编辑器则在预定义窗口内均匀分配编辑工作，未能优先处理困难和信息密集的标记。本文提出DynEdit，一个动态框架，通过使用标记级熵来指导非均匀滑动，增加对高熵区域的覆盖，并在每个编辑窗口内应用熵引导的标记级优化，以加强对信息密集标记的更新。实验结果表明，DynEdit在多种长文本编辑设置中一致优于竞争基线，在具有挑战性的改写查询上获得高达14.0的BLEU分数提升，并在多个知识领域达到了接近饱和的语义评分。

🔬 方法详解

问题定义：本文解决的是大型语言模型中知识编辑的挑战，尤其是在长序列知识的编辑中，现有方法无法有效覆盖信息密集和困难的标记。

核心思路：DynEdit的核心思路是利用标记级熵来指导编辑过程，通过动态调整编辑窗口的滑动方式，优先处理高熵区域，从而提高编辑的有效性和准确性。

技术框架：DynEdit的整体架构包括两个主要模块：首先是熵引导的非均匀滑动，用于识别和覆盖高熵区域；其次是熵引导的标记级优化，针对每个编辑窗口内的信息密集标记进行强化更新。

关键创新：DynEdit的创新之处在于首次将标记级熵与编辑难度和语义重要性关联起来，设计了动态的编辑策略，显著提升了编辑效果。

关键设计：在设计中，DynEdit采用了动态滑动窗口机制，结合熵计算来确定编辑优先级，并在损失函数中引入了针对高熵标记的加权策略，以增强对关键信息的更新。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

DynEdit在实验中表现出色，尤其是在具有挑战性的改写查询上，BLEU分数提升高达14.0，且在多个知识领域的语义评分接近饱和，显示出其在长文本编辑任务中的优越性和有效性。

🎯 应用场景

DynEdit的研究成果在多个领域具有潜在应用价值，包括自然语言处理中的知识更新、对话系统的知识维护以及信息检索中的内容修正。随着大型语言模型的广泛应用，能够高效地进行知识编辑将极大提升模型的实用性和可靠性。未来，DynEdit的框架也可能扩展到其他类型的模型和任务中，推动智能系统的进一步发展。

📄 摘要（原文）

Knowledge editing aims to update outdated or incorrect knowledge in large language models without full retraining. Existing parameter-editing methods remain limited for long-sequence knowledge: single-point editors provide insufficient coverage for extended targets, while fixed chunk-based editors distribute editing effort uniformly across rigid predefined windows, failing to prioritize difficult, information-dense tokens. In this work, we show that token entropy is closely associated with both editing difficulty and semantic importance: high-entropy regions are harder to edit and often contain key factual content. Motivated by this observation, we propose DynEdit, a dynamic framework for long-sequence knowledge editing. DynEdit uses token-level entropy to guide non-uniform sliding, increasing the coverage of difficult high-entropy regions, and further applies entropy-guided token-level optimization to strengthen updates on information-dense tokens within each editing window. Experiments on three benchmarks and two backbone models show that DynEdit consistently outperforms competitive baselines across diverse long-form editing settings, achieving gains of up to +14.0 BLEU points on challenging paraphrase queries and near-saturated semantic scores on several diverse knowledge domains.