Safer Reasoning Traces: Measuring and Mitigating Chain-of-Thought Leakage in LLMs

📄 arXiv: 2603.05618v1 📥 PDF

作者: Patrick Ahrend, Tobias Eder, Xiyang Yang, Zhiyi Pan, Georg Groh

分类: cs.CL

发布日期: 2026-03-05

💡 一句话要点

研究CoT推理中LLM的PII泄露问题，并提出轻量级推理时门控方法缓解泄露风险。

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: LLM Chain-of-Thought PII泄露 隐私保护 推理安全

📋 核心要点

  1. 现有方法在利用CoT提升LLM推理能力时，忽略了可能导致PII泄露的隐私风险。
  2. 提出一种模型无关的框架，用于量化和分析CoT推理过程中LLM的PII泄露情况。
  3. 实验表明CoT会增加PII泄露，且泄露程度与模型家族和推理预算有关，并评估了多种门控方法。

📝 摘要（中文）

本文研究了Chain-of-Thought (CoT) prompting在提升LLM推理能力的同时，可能导致个人身份信息(PII)从prompt泄露到推理轨迹和输出中的隐私风险，即使模型被指示不重复PII。作者提出了一个模型无关的框架，从token级别定义了11种PII类型的风险加权泄露事件，通过允许的CoT预算追踪泄露曲线，并在分层风险分类的结构化PII数据集上比较了开源和闭源模型家族。研究发现CoT始终会增加泄露，尤其是在高风险类别中，并且泄露强烈依赖于模型家族和预算。增加推理预算可能会放大或减弱泄露，具体取决于基础模型。随后，作者评估了轻量级推理时门控方法，包括基于规则的检测器、TF-IDF + 逻辑回归分类器、基于GLiNER的NER模型和LLM-as-judge，使用风险加权的F1、Macro-F1和召回率。结果表明，没有单一方法在所有模型或预算下都占优势，因此需要混合的、风格自适应的门控策略，以在通用的、可重复的协议下平衡效用和风险。

🔬 方法详解

问题定义：论文旨在解决LLM在使用Chain-of-Thought (CoT) prompting时，可能将prompt中的个人身份信息(PII)泄露到推理过程和输出中的问题。现有方法缺乏对这种泄露风险的量化分析和有效的缓解措施，使得LLM在处理包含敏感信息的任务时存在潜在的隐私安全隐患。

核心思路：论文的核心思路是建立一个模型无关的框架，用于量化CoT推理过程中LLM的PII泄露情况，并评估不同的轻量级推理时门控方法以缓解泄露风险。通过定义风险加权的token级别泄露事件，并追踪泄露曲线，可以系统地分析不同模型和推理预算下的泄露行为。

技术框架：该框架包含以下几个主要模块：1) PII数据集构建：构建包含分层风险分类的结构化PII数据集。2) 泄露量化：定义11种PII类型的风险加权泄露事件，并计算泄露曲线。3) 模型评估：在不同开源和闭源模型家族上进行评估，分析泄露与模型家族和推理预算的关系。4) 门控方法评估：评估多种轻量级推理时门控方法，包括基于规则的检测器、TF-IDF + 逻辑回归分类器、基于GLiNER的NER模型和LLM-as-judge。

关键创新：论文的关键创新在于提出了一个模型无关的PII泄露量化框架，该框架可以用于评估不同LLM在CoT推理过程中的隐私风险。此外，论文还系统地评估了多种轻量级推理时门控方法，并提出了混合的、风格自适应的门控策略，以平衡效用和风险。与现有方法相比，该框架更加通用和可扩展，可以应用于不同的LLM和PII类型。

关键设计：论文的关键设计包括：1) 风险加权：对不同PII类型赋予不同的风险权重，以更准确地反映泄露的严重程度。2) 泄露曲线：通过追踪泄露曲线，可以分析泄露与推理预算的关系。3) 门控策略：提出了混合的、风格自适应的门控策略，以根据不同的模型和任务动态调整门控强度。具体参数设置、损失函数和网络结构等技术细节在论文中未详细描述，属于未知信息。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果表明，CoT prompting会增加LLM的PII泄露风险，尤其是在高风险类别中。泄露程度与模型家族和推理预算有关，增加推理预算可能会放大或减弱泄露。没有单一的门控方法在所有模型和预算下都占优势，因此需要混合的、风格自适应的门控策略。具体性能数据和提升幅度在摘要中未明确给出，属于未知信息。

🎯 应用场景

该研究成果可应用于各种需要使用LLM进行推理的任务中，尤其是在处理包含个人身份信息等敏感数据的场景下，例如医疗诊断、金融风控、法律咨询等。通过量化和缓解LLM的PII泄露风险，可以提高LLM应用的安全性，保护用户隐私，并促进LLM在更多领域的应用。

📄 摘要（原文）

Chain-of-Thought (CoT) prompting improves LLM reasoning but can increase privacy risk by resurfacing personally identifiable information (PII) from the prompt into reasoning traces and outputs, even under policies that instruct the model not to restate PII. We study such direct, inference-time PII leakage using a model-agnostic framework that (i) defines leakage as risk-weighted, token-level events across 11 PII types, (ii) traces leakage curves as a function of the allowed CoT budget, and (iii) compares open- and closed-source model families on a structured PII dataset with a hierarchical risk taxonomy. We find that CoT consistently elevates leakage, especially for high-risk categories, and that leakage is strongly family- and budget-dependent. Increasing the reasoning budget can either amplify or attenuate leakage depending on the base model. We then benchmark lightweight inference-time gatekeepers: a rule-based detector, a TF-IDF + logistic regression classifier, a GLiNER-based NER model, and an LLM-as-judge, using risk-weighted F1, Macro-F1, and recall. No single method dominates across models or budgets, motivating hybrid, style-adaptive gatekeeping policies that balance utility and risk under a common, reproducible protocol.