Event-SAMA: Language-Grounded Video Object Segmentation on Neuromorphic Event Streams

📄 arXiv: 2610.39676v1 📥 PDF

作者: Sergei Fedorchenko, Max Zehnder, Nikola Zubić, Rong Zou, Davide Scaramuzza

分类: cs.LG, cs.AI, cs.CL, cs.CV

发布日期: 2026-10-29

备注: 15 pages

期刊: Conference on Neural Information Processing Systems Workshops (NeurIPSW), 2026

💡 一句话要点

提出Event-SAMA以解决事件流视频物体分割问题

🎯 匹配领域: 支柱三：空间感知与语义 (Perception & Semantics)

关键词: 事件相机 视频物体分割 合成数据集 深度学习 计算机视觉

📋 核心要点

  1. 现有的参考视频物体分割方法缺乏针对事件流数据的有效模型和数据集，限制了其在高动态场景下的应用。
  2. 论文提出Event-SAMA，通过合成事件转换和双通道极性补丁嵌入，适应事件相机的数据特性，提升了视频物体分割的性能。
  3. 实验结果显示，Event-SAMA在多个数据集上取得了显著的性能提升，尤其是在MeViS和ReVOS上，分别获得24.37和22.33的$ ext{J} ext{F}$分数。

📝 摘要（中文）

事件相机提供微秒级时间分辨率、高动态范围和无运动模糊，但现有的参考视频物体分割（RVOS）缺乏事件流数据集和模型。我们引入Event-SAMA-239K，这是SAMA-239K视频聊天语料库的合成事件转换，包含30650个视频片段和392162张图像。通过光流、FILM或注视上采样，结合线性事件生成器，保留了所有的掩码、引用表达和对话注释。我们还提出了Event-SAMA，采用从预训练RGB权重初始化的双通道极性补丁嵌入和零初始化的事件适配器。端到端训练在MeViS valid_u上获得24.37的$ ext{J} ext{F}$，在转换的ReVOS valid子集上获得22.33的$ ext{J} ext{F}$，建立了首个事件原生RVOS基线。

🔬 方法详解

问题定义：本论文旨在解决现有参考视频物体分割（RVOS）方法在事件流数据上的不足，尤其是缺乏有效的数据集和模型，导致在动态场景下表现不佳。

核心思路：通过引入Event-SAMA-239K合成事件数据集，并设计双通道极性补丁嵌入和事件适配器，论文旨在提升RVOS在事件流上的表现，充分利用事件相机的优势。

技术框架：整体架构包括数据集的合成、模型的设计与训练。首先，通过光流等方法生成事件数据，然后使用双通道极性补丁嵌入和事件适配器进行模型训练，最后进行端到端的评估。

关键创新：最重要的技术创新在于Event-SAMA的设计，尤其是双通道极性补丁嵌入和事件适配器的结合，使得模型能够有效处理事件流数据，与传统RGB模型相比具有更好的适应性。

关键设计：在参数设置上，采用了从预训练RGB权重初始化的双通道极性补丁嵌入，并设计了零初始化的事件适配器。损失函数和网络结构经过精心设计，以确保模型在事件流数据上的有效学习。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果表明，Event-SAMA在MeViS valid_u上获得24.37的$ ext{J} ext{F}$，在ReVOS valid子集上获得22.33的$ ext{J} ext{F}$，显著高于传统RGB SAMA-4B的55.4分，展示了事件流数据在视频物体分割中的潜力。

🎯 应用场景

该研究的潜在应用领域包括自动驾驶、机器人视觉和实时监控等场景，能够在高动态范围和快速运动的环境中实现更准确的视频物体分割。未来，该技术可能推动事件相机在计算机视觉领域的广泛应用，提升智能系统的感知能力。

📄 摘要（原文）

Event cameras offer microsecond temporal resolution, high dynamic range and no motion blur, but referring video object segmentation (RVOS) lacks event-stream datasets and models. We introduce Event-SAMA-239K, a synthetic-event conversion of the SAMA-239K grounded video-chat corpus and all additional SAMA training data: 30,650 video clips and 392,162 images. Optical-flow, FILM or saccade upsampling followed by a linear event generator preserves all mask, referring-expression and dialogue annotations. We also introduce Event-SAMA, adapting SAMA-4B with a two-channel polarity patch embedding initialised from pretrained RGB weights and a zero-initialised event adapter. End-to-end training yields 24.37 $\mathcal{J}\&\mathcal{F}$ on MeViS valid_u and 22.33 $\mathcal{J}\&\mathcal{F}$ on the converted ReVOS valid subset, establishing the first event-native RVOS baseline (RGB SAMA-4B: 55.4 on MeViS). Frozen RGB SAMA-4B with pseudo-RGB renderings or E2VID reconstructions of the same events scores 13.23 and 15.94 $\mathcal{J}\&\mathcal{F}$. Without retraining, Event-SAMA works on real event-camera recordings when the accumulation window matches their event density. A seed-controlled ablation with a measured noise floor of 0.47 $\mathcal{J}\&\mathcal{F}$ finds gains from diverse training sources over MeViS alone (+4.99), RGB-mean event-stem initialisation (+4.33), and a trainable SAM2 mask decoder (+2.76); the event adapter, partial ViT unfreezing and event polarity are within noise at this budget. An earlier, partially converted corpus snapshot trained with the identical recipe scores 1.38 $\mathcal{J}\&\mathcal{F}$ higher on MeViS and 1.12 higher on ReVOS. Both are single runs that also differ in schedule length, so we draw no conclusion about corpus scale.