TransLinkGuard: Safeguarding Transformer Models Against Model Stealing in Edge Deployment
作者: Qinfeng Li, Zhiqiang Shen, Zhenghan Qin, Yangfan Xie, Xuhong Zhang, Tianyu Du, Jianwei Yin
分类: cs.CR, cs.AI
发布日期: 2024-04-17 (更新: 2024-11-21)
备注: Accepted by ACM MM24 Conference
💡 一句话要点
提出TransLinkGuard以解决边缘设备模型盗窃问题
🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)
关键词: 模型保护 边缘计算 安全性 动态授权 模型盗窃
📋 核心要点
- 现有防御机制无法同时满足四个关键保护属性，导致模型在边缘设备上的安全性不足。
- TransLinkGuard通过在安全环境中实现轻量级授权模块，能够根据输入动态授权请求，有效防止模型盗窃。
- 实验结果显示，TransLinkGuard在提供黑盒安全保证的同时，几乎没有运行时开销，展现了良好的实用性。
📝 摘要（中文）
专有的大型语言模型（LLMs）在各种场景中得到了广泛应用，尤其是在边缘设备上的部署因其效率和隐私原因而日益流行。然而，边缘部署的专有LLMs面临新的安全挑战：模型作为白盒暴露给用户，使得对手能够有效地进行模型盗窃（MS）攻击。现有的防御机制未能提供有效保护。本文提出TransLinkGuard，这是一种针对边缘设备模型盗窃的即插即用保护方法，其核心是一个轻量级的授权模块，位于安全环境中（如TEE），能够根据输入新鲜授权每个请求。实验表明，TransLinkGuard在几乎没有开销的情况下，提供与黑盒安全保证相同的安全保护。
🔬 方法详解
问题定义：本文旨在解决边缘设备上专有模型的安全性问题，现有方法无法有效防止模型盗窃，尤其是在模型被物理复制后仍需保持保护。
核心思路：TransLinkGuard的核心思想是通过一个轻量级的授权模块，动态地对每个请求进行授权，从而增强模型的安全性，防止未经授权的访问和逆向工程。
技术框架：TransLinkGuard的整体架构包括一个安全环境（如TEE）中的授权模块，该模块负责处理所有请求的授权。系统会在每次请求时，根据输入信息进行新鲜授权，确保模型的安全性。
关键创新：TransLinkGuard的主要创新在于其能够在物理复制后仍保持模型的保护，并且实现了请求级别的授权和运行时逆向工程的防护，与现有方法相比，提供了更高的安全性和灵活性。
关键设计：在设计中，授权模块采用轻量级结构，确保在提供高安全性的同时，运行时开销几乎可以忽略不计。具体的参数设置和损失函数设计未在摘要中详细说明，需参考论文的具体内容。
🖼️ 关键图片
📊 实验亮点
实验结果表明，TransLinkGuard在安全性方面与黑盒模型的保护相当，同时运行时开销几乎为零，展示了其在边缘设备上的高效性和实用性。这一成果为模型保护提供了新的思路和方法。
🎯 应用场景
TransLinkGuard的研究成果具有广泛的应用潜力，尤其是在需要保护专有模型的边缘计算场景中，如智能家居、自动驾驶和工业自动化等领域。通过增强模型的安全性，该方法能够有效保护企业的知识产权，降低模型被盗用的风险，进而促进AI技术的健康发展。
📄 摘要（原文）
Proprietary large language models (LLMs) have been widely applied in various scenarios. Additionally, deploying LLMs on edge devices is trending for efficiency and privacy reasons. However, edge deployment of proprietary LLMs introduces new security challenges: edge-deployed models are exposed as white-box accessible to users, enabling adversaries to conduct effective model stealing (MS) attacks. Unfortunately, existing defense mechanisms fail to provide effective protection. Specifically, we identify four critical protection properties that existing methods fail to simultaneously satisfy: (1) maintaining protection after a model is physically copied; (2) authorizing model access at request level; (3) safeguarding runtime reverse engineering; (4) achieving high security with negligible runtime overhead. To address the above issues, we propose TransLinkGuard, a plug-and-play model protection approach against model stealing on edge devices. The core part of TransLinkGuard is a lightweight authorization module residing in a secure environment, e.g., TEE. The authorization module can freshly authorize each request based on its input. Extensive experiments show that TransLinkGuard achieves the same security protection as the black-box security guarantees with negligible overhead.