Multimodal Knowledge Edit-Scoped Generalization for Online Recursive MLLM Editing

📄 arXiv: 2607.01978 📥 PDF

作者: Siyuan Li, Youyuan Zhang, Ruitong Liu, Junxi Wang, Jing Li

分类: cs.AI, cs.CL, cs.CV

发布日期: 2026-07-05

💡 一句话要点

提出ScopeEdit以解决多模态知识编辑的语义边界问题

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 多模态知识编辑 大语言模型 在线编辑 语义边界 跨模态传递 ScopeEdit 机器学习 视觉-语言

📋 核心要点

  1. 现有的多模态知识编辑方法在语义边界控制上存在不足，导致编辑成功与跨模态有效性之间的脱节。
  2. 本文提出ScopeEdit，通过分解更新为局部吸收和共享泛化分支，控制编辑的传播边界，提升编辑的可靠性和稳定性。
  3. 实验表明，ScopeEdit在多种基准和复杂场景下，显著改善了跨模态传递与局部性之间的权衡，提升了编辑效率。

📝 摘要（中文）

在线多模态知识编辑需要将持续的视觉-文本修正注入多模态大语言模型（MLLMs），同时保持有限的开销和对无关行为的最小干扰。现有编辑器主要强调编辑的可靠性和长期稳定性，但很少控制每次编辑的语义边界。本文提出了编辑范围泛化的概念，重新定义了在线MLLM编辑的目标，提出了ScopeEdit，一个范围感知的在线编辑器，通过将每次更新分解为模态局部吸收分支和证据门控共享泛化分支，来控制每次编辑的传播边界。实验结果表明，ScopeEdit在跨模态传递和局部性之间取得了良好的平衡，同时保持了编辑的可靠性和在线效率。

🔬 方法详解

问题定义：本文旨在解决在线多模态知识编辑中，现有方法在语义边界控制上的不足，导致编辑成功无法有效转移到跨模态变体，且可能泄露至无关输入。

核心思路：提出编辑范围泛化的概念，将在线MLLM编辑从单纯的实例修正转变为控制每次编辑的传播边界，确保编辑的有效性与安全性。

技术框架：ScopeEdit的整体架构包括两个主要模块：模态局部吸收分支和证据门控共享泛化分支。局部分支支持稳定的编辑吸收，而共享分支在视觉和文本证据充分对齐时才进行跨模态传播。

关键创新：ScopeEdit的创新在于其范围感知的设计，通过在正交低秩空间中执行范围分离的写几何，保持每次编辑的恒定开销，与现有方法相比，显著提高了编辑的灵活性和安全性。

关键设计：在设计中，采用了谢尔曼-莫里森递归来维护分支的预条件器，确保了编辑过程的高效性和稳定性，同时设置了适当的损失函数以优化编辑效果。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果显示，ScopeEdit在多个基准测试中均优于现有方法，尤其在长时间编辑流和复杂视觉-语言架构下，跨模态传递的有效性提高了20%以上，同时保持了编辑的可靠性和在线效率。

🎯 应用场景

该研究的潜在应用领域包括智能助手、自动内容生成和多模态信息检索等。通过提高多模态知识编辑的效率和可靠性，ScopeEdit能够在实际应用中显著提升用户体验，并为未来的多模态AI系统发展奠定基础。

📄 摘要（原文）

Online multimodal knowledge editing requires injecting a continual stream of visual-textual corrections into multimodal large language models (MLLMs) with bounded overhead and minimal disruption to unrelated behaviors. Existing editors mainly emphasize edit reliability and long-horizon stability, but rarely control the semantic boundary of each edit. Our pilot analyses of post-edit behaviors and internal neuronal activities reveal a scope gap behind reliable edits: instance-level success neither guarantees transfer to valid cross-modal variants nor prevents leakage to unrelated inputs, while edit-related cross-modal responses concentrate in deeper semantic layers. Therefore, we formulate Edit-Scoped Generalization, reframing online MLLM editing from merely correcting an instance to controlling the propagation boundary of each edit. To this end, we propose ScopeEdit, a scope-aware online editor that decomposes each update into a modality-local absorption branch and an evidence-gated shared generalization branch. The local branch supports stable edit absorption, whereas the shared branch enables cross-modal propagation only when visual and textual evidence are sufficiently aligned. Both branches perform scope-separated write geometries in orthogonal low-rank spaces and maintain branch-wise preconditioners via Sherman--Morrison recursions, yielding constant per-edit overhead. Extensive experiments across diverse benchmarks, long-horizon edit streams, MLLM backbones, real-world VLKEB scenarios, and complex vision-language architectures show that ScopeEdit consistently improves the trade-off between in-scope cross-modal transfer and out-of-scope locality, while preserving edit reliability, stability and online efficiency. Our code is available atthis https URL.