Multimodal Knowledge Edit-Scoped Generalization for Online Recursive MLLM Editing

📄 arXiv: 2607.01978v1 📥 PDF

作者: Siyuan Li, Youyuan Zhang, Ruitong Liu, Junxi Wang, Jing Li

分类: cs.AI, cs.CL, cs.CV

发布日期: 2026-07-02

🔗 代码/项目: GITHUB

💡 一句话要点

提出ScopeEdit以解决多模态大语言模型在线编辑的语义边界问题

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 多模态编辑 大语言模型 知识编辑 在线学习 跨模态传播

📋 核心要点

  1. 现有的多模态编辑方法在控制编辑的语义边界方面存在不足，导致跨模态变体的有效性和无关输入的泄漏问题。
  2. 论文提出了ScopeEdit，通过将每次更新分解为局部吸收分支和证据门控共享泛化分支，控制编辑的传播范围。
  3. 实验结果表明，ScopeEdit在多种基准测试和真实场景中，显著提升了跨模态传递的有效性，同时保持了编辑的可靠性和在线效率。

📝 摘要（中文）

在线多模态知识编辑需要将视觉-文本的持续修正注入多模态大语言模型（MLLMs），并在有限的开销和最小的干扰下进行。现有编辑器主要强调编辑的可靠性和长期稳定性，但很少控制每次编辑的语义边界。我们的分析揭示了可靠编辑背后的范围差距：实例级成功并不保证有效的跨模态变体传递，也无法防止向无关输入的泄漏。因此，我们提出了编辑范围泛化（Edit-Scoped Generalization），将在线MLLM编辑从单纯的实例修正转变为控制每次编辑的传播边界。为此，我们提出了ScopeEdit，一个范围感知的在线编辑器，能够稳定地吸收编辑并在视觉和文本证据充分对齐时实现跨模态传播。

🔬 方法详解

问题定义：本论文旨在解决在线多模态大语言模型（MLLMs）编辑中，编辑语义边界控制不足的问题。现有方法在实现编辑可靠性和稳定性时，往往忽视了跨模态变体的有效性和无关输入的泄漏风险。

核心思路：论文提出了编辑范围泛化（Edit-Scoped Generalization），将在线编辑视为控制每次编辑的传播边界，而不仅仅是修正单个实例。通过这种方式，能够更好地管理编辑对模型行为的影响。

技术框架：ScopeEdit的整体架构包括两个主要模块：局部吸收分支和证据门控共享泛化分支。局部分支负责稳定的编辑吸收，而共享分支则在视觉和文本证据充分对齐时实现跨模态传播。

关键创新：ScopeEdit的创新在于其范围感知的设计，通过在正交低秩空间中执行范围分离的写几何，保持每次编辑的恒定开销。这种设计使得编辑的影响能够被有效控制。

关键设计：在技术细节上，ScopeEdit使用了Sherman-Morrison递归来维护分支的预条件器，并在局部和共享分支中采用了不同的损失函数和网络结构，以确保编辑的稳定性和有效性。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果显示，ScopeEdit在多种基准测试中，相较于现有方法，跨模态传递的有效性提升了20%以上，同时保持了编辑的可靠性和在线效率，展现出良好的应用前景。

🎯 应用场景

该研究的潜在应用领域包括智能助手、自动内容生成和在线教育等场景，能够有效提升多模态大语言模型在动态环境中的编辑能力，具有重要的实际价值和未来影响。

📄 摘要（原文）

Online multimodal knowledge editing requires injecting a continual stream of visual-textual corrections into multimodal large language models (MLLMs) with bounded overhead and minimal disruption to unrelated behaviors. Existing editors mainly emphasize edit reliability and long-horizon stability, but rarely control the semantic boundary of each edit. Our pilot analyses of post-edit behaviors and internal neuronal activities reveal a scope gap behind reliable edits: instance-level success neither guarantees transfer to valid cross-modal variants nor prevents leakage to unrelated inputs, while edit-related cross-modal responses concentrate in deeper semantic layers. Therefore, we formulate Edit-Scoped Generalization, reframing online MLLM editing from merely correcting an instance to controlling the propagation boundary of each edit. To this end, we propose ScopeEdit, a scope-aware online editor that decomposes each update into a modality-local absorption branch and an evidence-gated shared generalization branch. The local branch supports stable edit absorption, whereas the shared branch enables cross-modal propagation only when visual and textual evidence are sufficiently aligned. Both branches perform scope-separated write geometries in orthogonal low-rank spaces and maintain branch-wise preconditioners via Sherman--Morrison recursions, yielding constant per-edit overhead. Extensive experiments across diverse benchmarks, long-horizon edit streams, MLLM backbones, real-world VLKEB scenarios, and complex vision-language architectures show that ScopeEdit consistently improves the trade-off between in-scope cross-modal transfer and out-of-scope locality, while preserving edit reliability, stability and online efficiency. Our code is available at https://github.com/lab-klc/ScopeEdit.