Beyond Inference: Performance Analysis of DNN Server Overheads for Computer Vision
作者: Ahmed F. AbouElhamayed, Susanne Balle, Deshanand Singh, Mohamed S. Abdelfattah
分类: cs.DC, cs.AI, cs.CV, cs.LG
发布日期: 2024-03-02
备注: 6 pages, 11 figures, DAC 2024: 61st IEEE/ACM Design Automation Conference. (DAC'24)
💡 一句话要点
分析DNN服务器开销以提升计算机视觉应用性能
🎯 匹配领域: 支柱三：空间感知与语义 (Perception & Semantics)
关键词: 深度学习 计算机视觉 性能优化 数据处理 吞吐量提升 DNN推理 服务器开销
📋 核心要点
- 现有深度学习系统设计通常忽视数据处理和移动开销，导致性能瓶颈。
- 本文通过量化服务器开销，提出了一种全面评估DNN视觉应用性能的方法。
- 实验证明，优化数据处理和移动可以显著提升系统吞吐量，达到2.25倍的提升。
📝 摘要（中文）
深度神经网络（DNN）推理已成为许多数据中心工作负载的重要组成部分。然而，端到端的DNN视觉应用不仅仅包括推理，还包括输入解压、调整大小、采样、归一化和数据传输等过程。本文对在优化吞吐量的服务系统上执行的计算机视觉推理请求进行了全面评估，量化了数据移动、预处理和消息代理等服务器开销对性能的影响。实证分析涵盖了图像分类、分割、检测、深度估计等多种计算机视觉任务。结果表明，端到端应用性能常常被数据处理和数据移动功能主导，甚至在中等大小图像中占到端到端延迟的56%，在大图像中对系统吞吐量的影响达到约80%。我们的工作识别了不同应用场景中的重要性能瓶颈，实现了比以往工作提高2.25倍的吞吐量，为更全面的深度学习系统设计铺平了道路。
🔬 方法详解
问题定义：本文旨在解决深度学习视觉应用中，传统方法忽视的数据处理和移动开销对整体性能的影响。现有方法未能充分考虑这些开销，导致性能瓶颈。
核心思路：论文通过对计算机视觉推理请求的全面评估，量化了数据移动、预处理等开销对性能的影响，提出了一种优化吞吐量的服务系统设计思路。
技术框架：整体架构包括输入解压、调整大小、预处理、DNN推理和数据传输等多个模块，形成一个完整的处理流水线。
关键创新：最重要的创新在于识别并量化了不同应用场景中的性能瓶颈，强调了数据处理和移动在整体性能中的重要性，与传统方法形成鲜明对比。
关键设计：在实验中，采用了多种计算机视觉任务的标准数据集，设置了不同的参数以评估各个模块的性能，确保了结果的可靠性和可重复性。通过优化数据处理流程，显著提升了系统的整体吞吐量。
🖼️ 关键图片
📊 实验亮点
实验结果显示，优化后的系统在中等大小图像的端到端延迟中，数据处理和移动功能占据了56%的比例，而在大图像中对系统吞吐量的影响达到约80%。与以往工作相比，本文实现了2.25倍的吞吐量提升，显著提高了系统性能。
🎯 应用场景
该研究的潜在应用领域包括智能监控、自动驾驶、医疗影像分析等计算机视觉任务。通过优化DNN服务器的性能，能够提升这些应用的实时性和准确性，具有重要的实际价值和广泛的市场前景。
📄 摘要（原文）
Deep neural network (DNN) inference has become an important part of many data-center workloads. This has prompted focused efforts to design ever-faster deep learning accelerators such as GPUs and TPUs. However, an end-to-end DNN-based vision application contains more than just DNN inference, including input decompression, resizing, sampling, normalization, and data transfer. In this paper, we perform a thorough evaluation of computer vision inference requests performed on a throughput-optimized serving system. We quantify the performance impact of server overheads such as data movement, preprocessing, and message brokers between two DNNs producing outputs at different rates. Our empirical analysis encompasses many computer vision tasks including image classification, segmentation, detection, depth-estimation, and more complex processing pipelines with multiple DNNs. Our results consistently demonstrate that end-to-end application performance can easily be dominated by data processing and data movement functions (up to 56% of end-to-end latency in a medium-sized image, and $\sim$ 80% impact on system throughput in a large image), even though these functions have been conventionally overlooked in deep learning system design. Our work identifies important performance bottlenecks in different application scenarios, achieves 2.25$\times$ better throughput compared to prior work, and paves the way for more holistic deep learning system design.