Stealing Reasoning Traces from Proprietary LLM APIs
作者: Alexander Panfilov, David Schmotz, Ilia Shumailov, Luca Beurer-Kellner, Joachim Schaeffer, Ameya Prabhu, Jonas Geiping, Maksym Andriushchenko
分类: cs.CR, cs.AI, cs.LG
发布日期: 2026-08-10
💡 一句话要点
提出一种方法以从专有LLM API中提取推理痕迹
🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture) 支柱九：具身大模型 (Embodied Foundation Models)
关键词: 大型语言模型 信息安全 数据隐私 推理提取 加密技术 模型攻击 系统安全
📋 核心要点
- 现有大型语言模型提供商隐藏推理过程，导致知识产权保护和信息泄露的挑战。
- 论文提出通过利用加密推理块的兼容性，开发出一种可扩展的解密方法。
- 实验表明，该方法成功提取了367个个人身份信息和182个凭证，展示了其有效性。
📝 摘要（中文）
当前领先的大型语言模型提供商为了保护知识产权和限制信息泄露，隐藏了模型的逐步推理过程。本文识别出一种架构漏洞，利用加密的推理块在不同会话、用户和模型之间的兼容性，开发出一种可扩展的解密方法。通过将来自强大模型的加密推理痕迹注入到同一提供商的弱模型中，攻击者可以迫使其解码并输出原文。这种漏洞使得提取专有模型推理、私有数据泄露、揭示潜在危险信息以及执行隐形提示注入成为可能。我们在负责任的披露后，提出了具体的加密和系统级缓解措施，以保护客户端推理。
🔬 方法详解
问题定义：本文旨在解决大型语言模型提供商隐藏推理过程所带来的知识产权保护和信息泄露问题。现有方法无法有效防止攻击者利用加密推理块进行信息提取。
核心思路：论文的核心思路是利用加密推理块在不同模型之间的兼容性，通过将强模型的加密输出注入到弱模型中，迫使其解码并输出原文。这样的设计能够绕过现有的反蒸馏机制。
技术框架：整体架构包括四个主要模块：1) 加密推理块的生成；2) 弱模型的选择与注入；3) 解码过程的触发；4) 输出结果的提取与分析。每个模块都针对特定的攻击向量进行优化。
关键创新：最重要的技术创新在于识别并利用加密推理块的兼容性，使得攻击者无需直接破解强模型即可提取信息。这一方法与现有的反蒸馏技术形成了鲜明对比。
关键设计：在设计中，关键参数包括加密推理块的格式、注入策略以及解码触发条件。损失函数的选择也影响了模型的解码精度，确保了输出的准确性。整体网络结构经过优化，以提高解码效率。
🖼️ 关键图片
📊 实验亮点
实验结果表明，通过解码315,320个推理块，成功恢复了367个个人身份信息和182个凭证，展示了该方法在大规模私有数据提取中的有效性。与现有防护机制相比，本文提出的方法在绕过反蒸馏机制方面表现出显著优势。
🎯 应用场景
该研究的潜在应用领域包括网络安全、数据隐私保护和人工智能模型的安全性评估。通过识别和修复这些漏洞，能够有效保护用户数据和知识产权，提升模型的安全性和可靠性。未来，相关技术可应用于更多的AI系统，以防止信息泄露和恶意攻击。
📄 摘要（原文）
Leading large language model providers now conceal their models' step-by-step reasoning, or chain-of-thought, to protect intellectual property and limit information leakage. Rather than storing these traces server-side, providers return them to the client as blocks of encrypted text, which the client passes back with each subsequent request. Building on prior research, we identify an architectural vulnerability: these encrypted blocks are fully compatible and interchangeable across different sessions, users, and models within a provider's ecosystem. We exploit this compatibility to develop a scalable decryption jailbreak. By injecting an encrypted reasoning trace from a given model into a weaker, and less safeguarded model from the same provider, we force it to decode and output the trace verbatim in plaintext, without ever jailbreaking the more capable model directly. This vulnerability enables four distinct attack vectors. First, it circumvents anti-distillation mechanisms, allowing adversaries to extract a proprietary model's reasoning, as we demonstrate across Anthropic, OpenAI, and Google. Second, it allows for large-scale private data extraction. Developers frequently share session logs publicly, unaware of contents of the encrypted blocks. By decoding 315,320 reasoning blocks scraped from public repositories, we recovered 367 Personally Identifiable Information (PII) artifacts and 182 credentials. Third, it inadvertently reveals hazardous information hidden within the reasoning process, even in cases where the model's final, visible output safely rejects a malicious request. Fourth, attackers can leverage this flaw to execute invisible prompt injections, embedding malicious payloads entirely within encrypted blocks to poison public agentic rollouts. Following responsible disclosure, we propose concrete cryptographic and system-level mitigations to secure client-side reasoning.