GIF: Locally Sound Geometric Information Flow Control for LLMs

📄 arXiv: 2606.23277v1 📥 PDF

作者: Adam Storek, Nikolaus Holzer, Zhuo Zhang, Suman Jana

分类: cs.AI

发布日期: 2026-06-22

💡 一句话要点

提出GIF框架以解决大语言模型的信息流控制问题

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 信息流控制 大语言模型 几何信息流 安全性 隐私保护 自动微分 低秩近似 模型评估

📋 核心要点

  1. 现有信息流控制方法在处理大语言模型时缺乏原则性语义基础，导致信息流推理困难。
  2. 本文提出几何信息流（GIF）框架，通过局部几何和雅可比矩阵来跟踪输入与输出之间的信息流。
  3. GIF在多个隐私泄露和提示注入基准测试中表现优异，召回率接近完美，且计算成本显著降低。

📝 摘要（中文）

大语言模型在处理敏感数据和不可信输入时面临安全和隐私风险，包括提示注入和机密信息泄露。现有的信息流控制（IFC）防御方法缺乏对模型内部信息流的原则性语义基础，导致严重的污点爆炸。本文提出几何信息流（GIF）框架，通过使用LLM雅可比矩阵和局部输出几何来跟踪信息流，提供可扩展的香农互信息上界。GIF在多个基准测试中表现出色，达到近乎完美的召回率，且在与轻量级LLM去分类器结合时，性能超过直接使用LLM作为判断基线的效果，同时显著降低了计算成本。

🔬 方法详解

问题定义：本文旨在解决大语言模型在信息流控制中的安全隐患，现有方法在处理信息流时存在严重的污点爆炸问题，难以有效追踪输入与输出之间的关系。

核心思路：GIF框架通过利用LLM的雅可比矩阵和局部输出几何，提供了一种可扩展的方式来上界香农互信息，从而有效跟踪信息流。该设计使得信息流的推理更加精确和可控。

技术框架：GIF的整体架构包括信息流跟踪模块、雅可比计算模块和局部几何分析模块。通过自动微分和低秩近似，GIF能够在大型模型上高效计算信息流。

关键创新：GIF的主要创新在于其局部几何的声音性，提供了比现有基于注意力或相关性的归因启发式方法更为稳健的信息流上界。

关键设计：在设计中，GIF采用了低秩近似技术以降低计算复杂度，并通过全自动化的Lean 4证明了其在局部正则性假设下的有效性。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果显示，GIF在多个提示注入和隐私泄露基准测试中实现了近乎完美的召回率，且在与轻量级LLM去分类器结合时，其F1得分与直接使用LLM作为判断基线的效果相当或更优，同时计算成本降低了多达81倍。

🎯 应用场景

该研究的潜在应用领域包括安全敏感的AI系统、数据隐私保护和自动化决策支持。GIF框架能够有效防止信息泄露，提升大语言模型在实际应用中的安全性和可靠性，具有重要的实际价值和未来影响。

📄 摘要（原文）

Large language models increasingly mediate interactions between sensitive data, untrusted inputs, and privileged actions in agentic systems, creating security and privacy risks. These range from prompt injections that manipulate downstream tool use to leakage of confidential information through model outputs. Recent Information Flow Control (IFC)-based defenses show promise but lack a principled semantic foundation for reasoning about information flow through the model itself. Since any input token may influence any output token in an autoregressive LLM, existing approaches suffer from severe taint explosion. We present Geometric Information Flow (GIF), a semantic framework for tracking information flow from input tokens to outputs. GIF uses the LLM Jacobian and local output geometry to upper-bound the Shannon mutual information between perturbed input spans and model outputs, yielding a scalable measure computable on large models via automatic differentiation and low-rank approximation. Unlike attention-based or correlational attribution heuristics, GIF satisfies local geometric soundness, and we provide a fully mechanized Lean 4 proof that it upper-bounds the true information flow induced by a given prompt under local regularity assumptions. We evaluate GIF on integrity and confidentiality tasks across multiple prompt-injection and privacy-leakage benchmarks. GIF achieves near-perfect recall even without a downstream declassifier, outperforming attention-based baselines. Combined with lightweight LLM-based declassifiers, it matches or exceeds the F1 of direct LLM-as-judge baselines such as GPT-5.5 xhigh reasoning while using up to 81x lower token cost. GIF flows detected with small surrogate models transfer to larger state-of-the-art models and other model families, even when the surrogate is up to 200x smaller, suggesting black-box deployment without gradient access.