Beyond Visual Evidence: Revealing and Mitigating Relational Privacy Leakage in Document MLLMs
作者: Beining Xu, Hairui Wang, Jiaxin Wang, Changsheng Chen, Anirban Chakraborty
分类: cs.CV, cs.CR, cs.MM
发布日期: 2026-08-13
备注: ACM mm 2026
💡 一句话要点
提出动态关系去学习框架以解决文档多模态大语言模型隐私泄露问题
🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)
关键词: 多模态大语言模型 隐私保护 关键内容提取 动态去学习 文档理解
📋 核心要点
- 现有的多模态大语言模型在处理身份文件时，存在依赖记忆字段关系推断缺失内容的隐私泄露风险。
- 本文提出动态关系去学习框架（DRUF），通过关系解耦去学习模块和动态集合更新机制来抑制隐私泄露。
- 实验结果显示，DRUF在隐私泄露抑制方面优于现有基线，提升幅度达到4.8个百分点，同时保持了KIE性能。
📝 摘要（中文）
尽管多模态大语言模型（MLLMs）的隐私风险受到广泛关注，但特定领域MLLMs的独特脆弱性仍未得到充分探讨。本文聚焦于身份文件处理的文档理解MLLMs，研究关键内容提取（KIE）任务中的隐私问题。我们揭示，当输入图像缺乏足够的视觉证据时，这些模型往往依赖于训练数据中记忆的字段关系来推断缺失内容，从而泄露多个包含敏感个人信息的相关字段。为减轻此风险，我们提出了动态关系去学习框架（DRUF），包括关系解耦去学习模块和动态集合更新机制，能够在保持KIE性能的同时抑制高风险字段对的泄露。我们还引入了DocPrivacyBench，一个新基准，用于系统评估模型在缺乏或最小视觉证据下的隐私泄露易感性。通过评估三种MLLMs和六种去学习方法，我们的结果表明，现有MLLMs在视觉证据稀缺时始终表现出隐私泄露，尤其是在噪声数据集上。相比之下，DRUF在泄露抑制方面超越了最强基线，提升了4.8个百分点，有效减轻了隐私风险，同时保持了文档信息提取的鲁棒性。
🔬 方法详解
问题定义：本文旨在解决文档理解MLLMs在关键内容提取任务中，由于缺乏视觉证据而导致的隐私泄露问题。现有方法在处理缺失信息时，容易依赖训练数据中的记忆关系，造成敏感信息泄露。
核心思路：论文提出的动态关系去学习框架（DRUF）通过解耦高风险字段对的关系，减少模型对记忆信息的依赖，从而降低隐私泄露风险。该设计旨在在保持KIE性能的同时，增强模型的隐私保护能力。
技术框架：DRUF框架主要由两个模块组成：关系解耦去学习模块（RDU）和动态集合更新机制。RDU模块负责识别和抑制高风险字段对的泄露，而动态集合更新机制则确保模型在去学习过程中能够适应新的数据分布。
关键创新：最重要的创新点在于提出了动态关系去学习框架，能够有效抑制隐私泄露，同时保持模型的性能。这与传统方法的静态去学习策略形成鲜明对比，后者往往无法适应动态变化的数据环境。
关键设计：在设计中，RDU模块采用了特定的损失函数来量化字段对的风险，并通过动态更新机制调整模型参数，以确保在去学习过程中不损失重要的文档信息提取能力。
🖼️ 关键图片
📊 实验亮点
实验结果表明，现有的多模态大语言模型在视觉证据稀缺的情况下，普遍存在隐私泄露问题，尤其在噪声数据集上表现明显。相比之下，DRUF在隐私泄露抑制方面超越了最强基线，提升了4.8个百分点，显示出显著的改进效果。
🎯 应用场景
该研究的潜在应用领域包括身份文件处理、金融服务、医疗记录管理等，能够有效保护用户的敏感信息，降低隐私泄露的风险。随着多模态大语言模型的广泛应用，本文提出的框架将为相关领域的隐私保护提供重要参考，促进技术的安全性与可靠性。
📄 摘要（原文）
While the privacy risks of multimodal large language models (MLLMs) have drawn significant attention, the unique vulnerabilities of domain-specific MLLMs remain largely underexplored. Focusing on document understanding MLLMs for identity document processing, this paper investigates the privacy issues inherent in Key Information Extraction (KIE) tasks. We reveal that when input images lack sufficient visual evidence, these models often rely on memorized field relations from training data to infer missing content, thereby leaking multiple correlated fields containing sensitive personal information. To mitigate this risk, we make three key contributions.First, we propose the Dynamic Relational Unlearning Framework (DRUF) which comprises a Relational Decoupling Unlearning (RDU) module and a dynamic set update mechanism. It suppresses the leakage of high-risk field pairs while preserving KIE performance.Second, we introduce DocPrivacyBench, a novel benchmark to systematically evaluate a model's susceptibility to privacy leakage under conditions of absent or minimal visual evidence.Third, we evaluate three MLLMs and six unlearning methods using this benchmark, assessing both post-unlearning leakage suppression and utility preservation.Our results demonstrate that existing MLLMs consistently exhibit privacy leakage when visual evidence is scarce, particularly on noisier datasets. In contrast, DRUF outperforms the strongest baseline by improving leakage suppression by 4.8 percentage points, effectively mitigating privacy risks while maintaining robust document information extraction performance.