EvGNN: An Event-driven Graph Neural Network Accelerator for Edge Vision

📄 arXiv: 2404.19489v2 📥 PDF

作者: Yufeng Yang, Adrian Kneip, Charlotte Frenkel

分类: cs.CV, cs.AR, cs.ET, cs.NE

发布日期: 2024-04-30 (更新: 2025-02-28)

备注: Accepted for publication in the IEEE Transactions on Circuits and Systems for Artificial Intelligence, 2025. 14 pages, 14 figures

DOI: 10.1109/TCASAI.2024.3520905

💡 一句话要点

提出EvGNN以解决边缘视觉中的事件驱动图神经网络加速问题

🎯 匹配领域: 支柱八：物理动画 (Physics-based Animation)

关键词: 事件驱动视觉 图神经网络 边缘计算 硬件加速 低延迟处理 智能监控 自动驾驶

📋 核心要点

  1. 现有的基于帧的视觉算法主要依赖CNN，难以利用事件驱动视觉的稀疏信息，导致性能受限。
  2. 论文提出EvGNN，通过有向动态图、事件队列和层并行处理方案，优化事件驱动图神经网络的硬件加速。
  3. 在N-CARS数据集上，EvGNN实现了87.8%的分类准确率和16微秒的事件平均延迟，显著提升了边缘视觉的实时性。

📝 摘要（中文）

边缘视觉系统结合传感与嵌入式处理，提供低延迟、去中心化和节能的解决方案，避免对云的依赖。与传统的基于帧的视觉传感器不同，事件驱动相机以微秒级的时间分辨率传递稀疏信息，开辟了边缘视觉系统的新机遇。然而，主流的基于帧的视觉算法主要依赖卷积神经网络（CNN），难以充分利用事件驱动视觉的优势。本文提出EvGNN，首个事件驱动的图神经网络加速器，旨在实现低占用、超低延迟和高精度的边缘视觉。EvGNN在Xilinx KV260 Ultrascale+ MPSoC平台上部署，并在N-CARS数据集上进行汽车识别测试，分类准确率达到87.8%，每个事件的平均延迟为16微秒，从而实现了边缘实时的微秒分辨率事件驱动视觉。

🔬 方法详解

问题定义：本文旨在解决事件驱动图神经网络在边缘视觉中的硬件加速问题。现有方法主要依赖于稠密矩阵运算，无法有效处理稀疏的事件数据，导致性能不足。

核心思路：EvGNN的核心思路是通过有向动态图和事件队列来优化数据存储和处理，利用层并行处理方案实现低延迟执行，从而充分发挥事件驱动视觉的优势。

技术框架：EvGNN的整体架构包括三个主要模块：有向动态图模块、事件队列模块和层并行处理模块。动态图模块负责管理节点和边的动态变化，事件队列模块用于高效识别局部邻居，而层并行处理模块则实现多层GNN的低延迟执行。

关键创新：EvGNN的关键创新在于其独特的有向动态图结构和事件队列设计，使得在处理稀疏事件数据时能够高效存储和快速访问，显著提高了处理速度和准确性。

关键设计：EvGNN采用边缘无存储的单跳节点设计，设置了高效的事件队列以支持局部邻居的快速识别，并实现了多层GNN的并行处理，确保了低延迟和高准确率。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

EvGNN在N-CARS数据集上实现了87.8%的分类准确率，且每个事件的平均延迟仅为16微秒，显著优于传统基于帧的视觉系统。这一性能提升使得边缘视觉系统能够在微秒级分辨率下实现实时处理，满足高动态场景下的应用需求。

🎯 应用场景

该研究具有广泛的应用潜力，尤其在自动驾驶、智能监控和机器人视觉等领域。通过实现低延迟和高精度的边缘视觉处理，EvGNN能够支持实时决策和响应，提升智能系统的自主性和效率。未来，随着事件驱动相机技术的普及，EvGNN的应用前景将更加广阔。

📄 摘要（原文）

Edge vision systems combining sensing and embedded processing promise low-latency, decentralized, and energy-efficient solutions that forgo reliance on the cloud. As opposed to conventional frame-based vision sensors, event-based cameras deliver a microsecond-scale temporal resolution with sparse information encoding, thereby outlining new opportunities for edge vision systems. However, mainstream algorithms for frame-based vision, which mostly rely on convolutional neural networks (CNNs), can hardly exploit the advantages of event-based vision as they are typically optimized for dense matrix-vector multiplications. While event-driven graph neural networks (GNNs) have recently emerged as a promising solution for sparse event-based vision, their irregular structure is a challenge that currently hinders the design of efficient hardware accelerators. In this paper, we propose EvGNN, the first event-driven GNN accelerator for low-footprint, ultra-low-latency, and high-accuracy edge vision with event-based cameras. It relies on three central ideas: (i) directed dynamic graphs exploiting single-hop nodes with edge-free storage, (ii) event queues for the efficient identification of local neighbors within a spatiotemporally decoupled search range, and (iii) a novel layer-parallel processing scheme allowing for a low-latency execution of multi-layer GNNs. We deployed EvGNN on a Xilinx KV260 Ultrascale+ MPSoC platform and benchmarked it on the N-CARS dataset for car recognition, demonstrating a classification accuracy of 87.8% and an average latency per event of 16$μ$s, thereby enabling real-time, microsecond-resolution event-based vision at the edge.