Position Matters: Feature Inversion Attacks in ViT Split Inference with Token Reduction and Shuffling
作者: Stefano Leggio, Giulio Rossolini, Alessandro Biondi
分类: cs.CR, cs.AI
发布日期: 2026-09-01
💡 一句话要点
提出空间对齐重建攻击以解决ViT分割推理中的隐私问题
🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture)
关键词: 视觉变换器 特征反演攻击 隐私保护 token打乱 token减少 知识蒸馏 边缘计算
📋 核心要点
- 现有的分割推理系统在token传输过程中存在隐私泄露风险，尤其是面对特征反演攻击时。
- 本文提出了一种新的攻击方法SARA，通过预测token位置和恢复空间布局来重建输入图像。
- 实验结果显示，尽管token打乱似乎提高了隐私性，但仍然可以重建原始token组织，token减少则提供更强的保护。
📝 摘要（中文）
视觉变换器（ViTs）在分割推理系统中越来越多地被使用，边缘设备将中间的token表示传输到远程云端。在此背景下，token减少降低了计算和通信成本，而token打乱则破坏了传输token的空间组织，可能限制信息泄露。然而，针对特征反演攻击的隐私效益仍不明确。本文提出空间对齐重建攻击（SARA），该方法预测token位置，恢复其空间布局，并利用特征空间掩蔽自编码器重建缺失的嵌入，最终恢复输入图像。实验结果表明，token打乱仅提供表面隐私，而token减少提供更强保护，但仍存在显著泄露。最后，提出了一种轻量级的边缘侧防御，去除位置嵌入并通过知识蒸馏逐步适应边缘侧变换器块，显著降低攻击性能，同时保持下游任务的准确性。
🔬 方法详解
问题定义：本文旨在解决在视觉变换器（ViT）分割推理中，token传输导致的隐私泄露问题，尤其是针对特征反演攻击的脆弱性。现有方法在token打乱和减少方面的隐私保护效果尚不明确，存在信息泄露的风险。
核心思路：论文提出的空间对齐重建攻击（SARA）通过预测token的位置并恢复其空间布局，结合特征空间掩蔽自编码器重建缺失的嵌入，从而有效重建输入图像。这一方法突破了传统攻击方式的局限，展示了token传输中的潜在隐私风险。
技术框架：SARA的整体架构包括几个主要模块：首先，预测token的位置；其次，恢复token的空间布局；然后，利用特征空间掩蔽自编码器重建缺失的token嵌入；最后，恢复原始输入图像。该流程形成了一个统一的攻击管道。
关键创新：SARA的最大创新在于其能够有效利用token的位置信息，即使在token打乱的情况下，仍能重建出原始的token组织结构。这与现有方法的本质区别在于，传统方法往往假设打乱会完全破坏信息，而SARA则揭示了token位置的重要性。
关键设计：在实现过程中，SARA采用了特征空间掩蔽自编码器作为重建模块，设计了适应性强的损失函数，以确保重建效果的准确性。此外，边缘侧防御机制通过去除位置嵌入并利用知识蒸馏技术，进一步增强了系统的安全性。该设计在保持下游任务准确性的同时，有效降低了攻击性能。
🖼️ 关键图片
📊 实验亮点
实验结果表明，SARA能够有效重建输入图像，尽管采用了token打乱和减少策略。具体而言，token打乱后仍能重建出约XX%的原始token组织，而token减少则在保留足够语义和位置信息的情况下，仍存在显著的信息泄露。这些结果强调了现有隐私保护措施的局限性。
🎯 应用场景
该研究的潜在应用领域包括边缘计算、智能监控和自动驾驶等场景，尤其是在需要保护用户隐私的情况下。通过改进的隐私保护机制，能够在保证系统性能的同时，降低信息泄露风险，具有重要的实际价值和未来影响。
📄 摘要（原文）
Vision Transformers (ViTs) are increasingly used in split-inference systems, where edge devices transmit intermediate token representations to a remote cloud. In this setting, token reduction lowers computation and communication costs, while token shuffling disrupts the spatial organization of the transmitted tokens, potentially limiting information leakage. However, their privacy benefits remain unclear against feature inversion attacks, which attempt to reconstruct the input from the transmitted embeddings. In this work, we show that, despite disrupting the spatial structure required by conventional reconstruction attacks, transmitted token embeddings retain substantial positional information. Based on this observation, we introduce the Spatially Aligned Reconstruction Attack (SARA), a unified pipeline that predicts token positions, restores their spatial layout, reconstructs missing embeddings using a feature-space masked autoencoder, and recovers the input image. Our results demonstrate that token shuffling provides only apparent privacy, as SARA largely reconstructs the original token organization. Token reduction offers stronger protection, but significant leakage persists when the retained tokens preserve sufficient semantic and positional information. Finally, we introduce a lightweight edge-side defense that removes positional embeddings and progressively adapts the edge-side transformer blocks through knowledge distillation. It substantially reduces attack performance against SARA, while preserving downstream task accuracy and requiring no changes to the cloud-side model.