Leak-Resistant Unlearning: A New Benchmark for Evaluating Multi-Hop Reasoning Consistency and Recovery Robustness

📄 arXiv: 2608.04519v1 📥 PDF

作者: Haoting Qian, Qingjie Zhang, Zhicong Huang, Cheng Hong, Han Qiu

分类: cs.AI, cs.CL

发布日期: 2026-08-05

备注: 19 pages, 7 figures

💡 一句话要点

提出Leak-Resistant Unlearning基准以评估多跳推理一致性与恢复鲁棒性

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 知识去除 多跳推理 恢复攻击 大型语言模型 数据隐私 模型评估

📋 核心要点

  1. 现有的去除基准主要集中于单跳问题，缺乏对多跳推理路径的全面评估，导致知识泄漏风险增加。
  2. 本文提出Leak-Resistant Unlearning基准，旨在通过多样化推理路径和恢复攻击来评估LLM的知识去除能力。
  3. 实验结果显示，现有去除方法在多跳推理路径和恢复攻击下表现脆弱，揭示了遗忘质量与模型效用之间的权衡。

📝 摘要（中文）

机器学习中的知识去除方法评估至关重要，尤其是在大型语言模型（LLMs）中。现有的去除基准主要集中在单跳问题和有限的多跳问题上，面临知识泄漏和去除脆弱性等挑战。本文提出了Leak-Resistant Unlearning基准，旨在评估LLM在多样化推理路径和恢复攻击下的知识去除能力。通过在三种模型、六种去除方法和两个精心策划的数据集上进行实验，结果表明现有方法在多跳推理路径和恢复攻击下存在脆弱性，并探讨了遗忘质量、鲁棒性与模型效用之间的权衡。

🔬 方法详解

问题定义：本文旨在解决现有知识去除方法在多跳推理和恢复攻击下的脆弱性，现有基准无法全面评估知识去除的有效性和鲁棒性。

核心思路：提出Leak-Resistant Unlearning基准，通过多样化的推理路径和恢复攻击来评估LLM的知识去除能力，强调动态评估的重要性。

技术框架：整体架构包括数据集构建、模型选择、去除方法实施和评估指标设计，确保全面评估多跳推理和恢复攻击的影响。

关键创新：最重要的创新在于引入了多跳推理路径和恢复攻击的动态评估机制，与现有静态评估方法形成鲜明对比。

关键设计：在实验中，采用了六种不同的去除方法，设计了适应性损失函数，并在三种不同模型上进行评估，确保结果的可靠性和可比性。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果表明，现有的去除方法在多跳推理路径和恢复攻击下表现出明显的脆弱性，具体而言，某些方法在多跳推理下的知识恢复率高达30%。这些发现强调了在知识去除过程中考虑鲁棒性的重要性。

🎯 应用场景

该研究的潜在应用领域包括数据隐私保护、模型安全性评估和敏感信息去除等。通过改进知识去除方法，可以在实际应用中更有效地保护用户隐私，提升模型的安全性和可靠性，具有重要的社会价值和应用前景。

📄 摘要（原文）

Benchmarking machine unlearning methods is critical to understand whether sensitive knowledge is removed from large language models (LLMs) or not. Current unlearning benchmarks include mainly single-hop questions and a narrow set of multi-hop questions. Although effective, they still face two challenges. (1) Knowledge is not isolated, whereby diverse multi-hop reasoning paths can potentially induce knowledge leakage than normal queries. (2) Unlearning may be fragile: unlearned knowledge can be partially recovered through recovery attacks such as lightweight post-unlearning adaptation, making static evaluation insufficient. Therefore, in this paper, we introduce \unlearning as a novel benchmark to understand robust LLM knowledge removal across diverse reasoning paths and recovery attacks. We experiment with this benchmark on 3 models, 6 unlearning methods, and 2 carefully curated datasets. Results show that existing methods are vulnerable to multi-hop reasoning paths and recovery attacks. We further explore the trade-off among forget quality, robustness, and model utility for LLM unlearning.