ETHEREAL: A 25.6-$μ$s/inf. Low-latency Event-driven Graph-neural-network Processor for High-resolution Vision at the Edge

📄 arXiv: 2608.17787v1 📥 PDF

作者: Adrian Kneip, Martin Lefebvre, Daniel Gehrig, Victoria Catalán Pastor, Davide Scaramuzza, Marian Verhelst, Charlotte Frenkel

分类: cs.AR, cs.CV

发布日期: 2026-08-18

备注: This work has been submitted to the IEEE JSSC for possible publication

💡 一句话要点

提出ETHEREAL以解决动态视觉传感器的低延迟处理问题

🎯 匹配领域: 支柱八：物理动画 (Physics-based Animation)

关键词: 动态视觉传感器 事件驱动图神经网络 低延迟处理 边缘计算 时空事件缓存 样条卷积 能效优化

📋 核心要点

  1. 现有的动态视觉传感器在处理稀疏时空事件时缺乏高效的算法和硬件支持，导致延迟和能耗问题。
  2. ETHEREAL通过邻居并行样条卷积引擎和分割的内存层次结构，提供了高效的事件处理能力，满足EV-GNN的需求。
  3. 实验结果显示ETHEREAL在处理DAGr-GNN任务时，延迟为25.6微秒，能耗为每个事件1.6微焦耳，显著提升了性能。

📝 摘要（中文）

动态视觉传感器（DVS）因其微秒级时间分辨率而成为边缘视觉应用的理想选择。然而，现有的算法和硬件后端无法有效处理稀疏时空事件流。为此，本文提出ETHEREAL，这是首个专为事件驱动图神经网络（EV-GNN）设计的处理器芯片，结合邻居并行样条卷积引擎和分割的2D/3D内存层次结构，创新性地引入了时空事件缓存机制。实验结果表明，在DAGr-GNN工作负载和VGA分辨率（640x480像素）DSEC数据集上，ETHEREAL实现了25.6微秒的延迟和每个事件1.6微焦耳的能耗。

🔬 方法详解

问题定义：本文旨在解决动态视觉传感器（DVS）在处理稀疏时空事件流时的高延迟和高能耗问题。现有的算法和硬件无法有效支持EV-GNN的混合计算需求，导致性能瓶颈。

核心思路：ETHEREAL的核心思路是结合邻居并行样条卷积引擎与分割的2D/3D内存架构，以优化稀疏事件的处理效率。通过引入时空事件缓存机制，ETHEREAL能够在保持高准确率的同时，降低延迟和能耗。

技术框架：ETHEREAL的整体架构包括一个样条卷积引擎和一个分割的内存层次结构。样条卷积引擎负责高效的邻居并行计算，而内存层次结构则优化了稀疏数据的存取。

关键创新：ETHEREAL的主要创新在于其独特的时空事件缓存机制，这一设计使得处理器能够高效应对稀疏和不规则的内存访问模式，显著提升了处理速度和能效。

关键设计：ETHEREAL在设计中采用了特定的参数设置和网络结构，以支持高效的样条卷积计算。此外，损失函数的选择也经过优化，以确保在处理稀疏事件时的准确性和效率。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

ETHEREAL在DAGr-GNN工作负载下实现了25.6微秒的延迟和每个事件1.6微焦耳的能耗，显示出其在处理稀疏时空事件方面的卓越性能。这些结果相较于现有技术有显著提升，表明ETHEREAL在边缘视觉应用中的实际价值。

🎯 应用场景

ETHEREAL的设计使其在边缘计算和实时视觉处理领域具有广泛的应用潜力。其低延迟和低能耗的特性使其适合于自动驾驶、机器人视觉、智能监控等场景，能够有效提升这些应用的实时性和可靠性。未来，ETHEREAL可能成为智能设备和物联网系统中处理视觉信息的核心组件。

📄 摘要（原文）

Dynamic vision sensors (DVS) are enticing candidates to reach the low-latency, sub-ms target of edge-vision applications, as they generate events with a $μ$s-level time resolution. However, using DVS front ends also calls for novel algorithm/hardware back ends capable of efficiently handling streams of sparse spatiotemporal events. While event-driven graph neural networks (EV-GNNs) have emerged as a solution on the algorithmic side that is both accurate and efficient, there is no dedicated hardware to date capable of efficiently supporting their mixed requirements of dense-regular compute operations and sparse-irregular memory accesses. We therefore introduce ETHEREAL, the first EV-GNN processor chip, capable of bridging this gap by means of a neighbor-parallel spline-convolution engine combined with a split-2D/3D memory hierarchy that introduces a novel spatiotemporal event-caching mechanism. Measurement results demonstrate a 25.6$μ$s latency and a 1.6$μ$J energy per end-to-end event-wise inference on the state-of-the art DAGr-GNN workload and VGA-resolution (640x480 pixels) DSEC dataset.