Real Money, Fake Models: Deceptive Model Claims in Shadow APIs
作者: Yage Zhang, Yukun Jiang, Zeyuan Chen, Michael Backes, Xinyue Shen, Yang Zhang
分类: cs.CR, cs.AI, cs.SE
发布日期: 2026-03-02
💡 一句话要点
揭示影子API中LLM欺骗行为：性能差异、安全风险与身份伪造
🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)
关键词: 大型语言模型 影子API 安全审计 模型验证 欺骗检测
📋 核心要点
- 大型语言模型访问受限催生影子API，但其真实性和可靠性存疑，可能影响下游应用和研究。
- 通过多维度审计，揭示影子API在性能、安全和身份验证方面的欺骗行为。
- 实验表明影子API存在显著性能差异、安全风险和身份伪造，损害研究和用户利益。
📝 摘要（中文）
由于高昂的定价、支付障碍和地域限制，访问前沿大型语言模型（LLM），如GPT-5和Gemini-2.5，通常受到阻碍。这些限制推动了影子API的激增，这些第三方服务声称通过间接访问提供对官方模型服务的访问，且不受地域限制。尽管影子API被广泛使用，但它们是否提供与官方API一致的输出仍不清楚，这引发了对下游应用程序可靠性以及依赖于它们的研究结果有效性的担忧。本文对官方LLM API和相应的影子API进行了首次系统性审计。我们首先识别出17个已被187篇学术论文使用的影子API，其中最受欢迎的一个截至2025年12月6日已达到5,966次引用和58,639个GitHub星标。通过对三个具有代表性的影子API在效用、安全性和模型验证方面进行多维度审计，我们发现了影子API中欺骗行为的间接和直接证据。具体而言，我们揭示了高达47.21%的性能差异，安全行为的显著不可预测性，以及45.83%的指纹测试中的身份验证失败。这些欺骗行为严重损害了科学研究的可重复性和有效性，损害了影子API用户的利益，并损害了官方模型提供商的声誉。
🔬 方法详解
问题定义：论文旨在解决影子API声称提供对大型语言模型（LLM）的访问，但其真实性和可靠性未经验证的问题。现有方法缺乏对影子API的系统性审计，无法有效识别其欺骗行为，导致下游应用和研究面临风险。
核心思路：论文的核心思路是通过多维度审计，对比官方LLM API和影子API的输出，从而揭示影子API在性能、安全和身份验证方面的欺骗行为。这种对比分析能够量化影子API与官方API的差异，评估其可靠性和安全性。
技术框架：论文的技术框架主要包括以下几个阶段：1) 影子API识别：识别并收集广泛使用的影子API。2) 多维度审计：设计效用、安全和模型验证三个维度的测试用例。3) 数据收集与分析：通过测试用例收集官方API和影子API的输出数据，并进行对比分析。4) 欺骗行为揭示：根据分析结果，识别影子API的欺骗行为，并量化其影响。
关键创新：论文最重要的技术创新点在于首次对影子API进行系统性的多维度审计，并揭示了其欺骗行为。与现有方法相比，该方法能够更全面、深入地评估影子API的真实性和可靠性，为用户和研究人员提供更可靠的参考。
关键设计：在多维度审计中，论文设计了以下关键测试用例：1) 效用测试：使用标准数据集评估影子API的性能，并与官方API进行对比。2) 安全测试：设计对抗性提示，评估影子API的安全行为，例如生成有害内容或泄露敏感信息。3) 模型验证：使用指纹测试，验证影子API是否使用了声称的官方模型。
🖼️ 关键图片
📊 实验亮点
实验结果表明，影子API在性能上与官方API存在高达47.21%的差异，安全行为具有显著的不可预测性，且在45.83%的指纹测试中未能通过身份验证。这些数据有力地证明了影子API存在欺骗行为，并量化了其对下游应用和研究的潜在影响。
🎯 应用场景
该研究成果可应用于评估和选择可靠的LLM服务提供商，提高下游应用和研究的可信度。同时，有助于监管机构规范影子API市场，保护用户利益，维护官方模型提供商的声誉。未来，可扩展到其他类型的AI服务审计，促进AI生态系统的健康发展。
📄 摘要（原文）
Access to frontier large language models (LLMs), such as GPT-5 and Gemini-2.5, is often hindered by high pricing, payment barriers, and regional restrictions. These limitations drive the proliferation of $\textit{shadow APIs}$, third-party services that claim to provide access to official model services without regional limitations via indirect access. Despite their widespread use, it remains unclear whether shadow APIs deliver outputs consistent with those of the official APIs, raising concerns about the reliability of downstream applications and the validity of research findings that depend on them. In this paper, we present the first systematic audit between official LLM APIs and corresponding shadow APIs. We first identify 17 shadow APIs that have been utilized in 187 academic papers, with the most popular one reaching 5,966 citations and 58,639 GitHub stars by December 6, 2025. Through multidimensional auditing of three representative shadow APIs across utility, safety, and model verification, we uncover both indirect and direct evidence of deception practices in shadow APIs. Specifically, we reveal performance divergence reaching up to $47.21\%$, significant unpredictability in safety behaviors, and identity verification failures in $45.83\%$ of fingerprint tests. These deceptive practices critically undermine the reproducibility and validity of scientific research, harm the interests of shadow API users, and damage the reputation of official model providers.