Arena: A Patch-of-Interest ViT Inference Acceleration System for Edge-Assisted Video Analytics
作者: Haosong Peng, Wei Feng, Hao Li, Yufeng Zhan, Ren Jin, Yuanqing Xia
分类: cs.MM, cs.CV
发布日期: 2024-04-14 (更新: 2024-09-26)
💡 一句话要点
提出Arena系统以加速边缘辅助视频分析中的ViT推理
🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)
关键词: 边缘计算 视频分析 视觉变换器 推理加速 动态关键帧 补丁选择 智能监控
📋 核心要点
- 现有方法在恶劣环境下表现不佳，且传统模型架构的计算需求高，限制了实时视频分析的应用。
- 本文提出Arena系统，通过仅处理兴趣区域的补丁来加速ViT推理，并设计了适应视频内容的关键帧推理切换算法。
- 实验结果显示，Arena在推理速度上提升高达1.58倍，带宽消耗显著降低，同时保持高准确率。
📝 摘要（中文）
边缘计算的兴起使得实时智能视频分析成为可能。传统模型架构（如CNN、RNN等）在过滤非兴趣区域内容以减少带宽和计算消耗方面表现不佳，尤其在恶劣环境下。最近，基于变换器的视觉基础模型在这些环境中展现出卓越的泛化能力，但其高计算需求限制了在实时视频分析中的应用。本文提出Arena，一个基于ViT的端到端边缘辅助视频推理加速系统，通过仅传输兴趣区域的补丁来实现加速，并设计了适应不同视频内容的关键帧推理切换算法。实验结果表明，Arena在保持高推理准确率的同时，推理速度提升高达1.58倍，平均带宽消耗仅为47%和31%。
🔬 方法详解
问题定义：本文旨在解决传统视频分析方法在恶劣环境下的性能不足及高计算需求的问题。现有方法在带宽和计算消耗上存在局限，导致实时智能视频分析的应用受限。
核心思路：本文提出的Arena系统利用ViT的加速机制，通过仅传输和处理兴趣区域的补丁来优化推理过程，同时设计了适应不同视频内容的关键帧推理切换算法，以提高效率和准确性。
技术框架：Arena系统包括数据预处理模块、补丁选择模块、推理模块和结果输出模块。数据预处理模块负责视频帧的提取和关键帧的选择，补丁选择模块根据内容选择兴趣区域，推理模块使用ViT进行处理，最后结果输出模块负责展示分析结果。
关键创新：Arena的主要创新在于结合了ViT的补丁处理能力与动态关键帧推理切换算法，显著提升了推理速度和带宽利用率，与传统方法相比，能够更有效地处理视频数据。
关键设计：在设计中，Arena采用了动态补丁选择策略，结合了视频内容的实时分析，确保了在不同场景下的高效推理。此外，系统在带宽和计算资源的使用上进行了优化，确保了在边缘计算环境中的高效运行。
🖼️ 关键图片
📊 实验亮点
Arena系统在实验中表现出色，推理速度提升高达1.58倍，平均带宽消耗分别为47%和31%。这些结果表明Arena在保持高推理准确率的同时，显著优化了资源使用，具有较强的实际应用价值。
🎯 应用场景
Arena系统具有广泛的应用潜力，特别是在智能监控、自动驾驶和实时视频分析等领域。通过提高推理速度和降低带宽消耗，Arena能够支持更多实时应用场景，推动边缘计算技术的发展和应用。未来，随着视频分析需求的增加，Arena的技术方案可能会被更广泛地采用。
📄 摘要（原文）
The advent of edge computing has made real-time intelligent video analytics feasible. Previous works, based on traditional model architecture (e.g., CNN, RNN, etc.), employ various strategies to filter out non-region-of-interest content to minimize bandwidth and computation consumption but show inferior performance in adverse environments. Recently, visual foundation models based on transformers have shown great performance in adverse environments due to their amazing generalization capability. However, they require a large amount of computation power, which limits their applications in real-time intelligent video analytics. In this paper, we find visual foundation models like Vision Transformer (ViT) also have a dedicated acceleration mechanism for video analytics. To this end, we introduce Arena, an end-to-end edge-assisted video inference acceleration system based on ViT. We leverage the capability of ViT that can be accelerated through token pruning by only offloading and feeding Patches-of-Interest to the downstream models. Additionally, we design an adaptive keyframe inference switching algorithm tailored to different videos, capable of adapting to the current video content to jointly optimize accuracy and bandwidth. Through extensive experiments, our findings reveal that Arena can boost inference speeds by up to 1.58(\times) and 1.82(\times) on average while consuming only 47\% and 31\% of the bandwidth, respectively, all with high inference accuracy.