DUGO: Dual-Scale Gaussian Memory for Online Temporal Action Localization in Egocentric Procedural Videos

📄 arXiv: 2610.41402v1 📥 PDF

作者: Mohammed Aman Bhuiyan, Md. Sazzad Hossain Adib, Samiul Basir Bhuiyan, Mir Faiyaz Hossain, Syed Mohammed Shamsul Islam, Md Zakir Hossain, Shafin Rahman

分类: cs.CV, cs.LG

发布日期: 2026-10-30

备注: This paper has been accepted at the 2026 IEEE International Conference on Big Data (IEEE BigData 2026)

🔗 代码/项目: PROJECT_PAGE

💡 一句话要点

提出DUGO框架以解决在线时序动作定位问题

🎯 匹配领域: 支柱六：视频提取与匹配 (Video Extraction)

关键词: 在线时序动作定位 高斯记忆 双尺度编码 深度学习 视频理解 动作识别

📋 核心要点

  1. 现有的OnTAL方法在实时性和时间窗口限制下，难以有效捕捉跨时间尺度的动作动态。
  2. DUGO框架通过双尺度时间编码器和高斯记忆库，联合建模局部和全局时间依赖性，提升动作定位能力。
  3. 在EGTEA和EPIC-Kitchens-100等数据集上，DUGO表现出最先进的性能，并在非自我中心基准上显著提升。

📝 摘要（中文）

在线时序动作定位（OnTAL）旨在实时检测和定位未剪辑流媒体视频中的动作实例。与离线方法不同，OnTAL模型无法访问未来帧，也无法回溯并修正早期预测，这使得任务在严格的实时约束和狭窄的时间窗口下变得更加困难。现有的OnTAL方法大多依赖于简短的基于锚点的上下文或单一尺度的过去帧记忆，这限制了它们捕捉跨多个时间尺度或需要长程推理的动作的能力。为了解决这些问题，本文提出了DUGO（双尺度编码和高斯记忆在线），一个新的OnTAL框架，能够联合建模局部运动动态和长程时间依赖性。DUGO的核心是双尺度时间编码器，结合深度局部表示和全局自注意力，以捕捉细粒度的时间模式和更广泛的上下文线索。我们还引入了高斯记忆库，将动作记忆表示为随机的、输入条件的高斯原型，通过在编码器和锚点查询阶段应用门控交叉注意力，提供更丰富的时间记忆。大量在程序性自我中心数据集（EGTEA，EPIC-Kitchens-100）上的实验表明，DUGO实现了最先进的性能，并在非自我中心基准（如Muses）上也有显著提升。

🔬 方法详解

问题定义：本文旨在解决在线时序动作定位（OnTAL）中的实时检测和定位问题。现有方法通常依赖于简短的上下文或单一尺度的记忆，难以捕捉复杂的时间动态和长程依赖性。

核心思路：DUGO框架的核心思路是通过双尺度时间编码器和高斯记忆库，结合局部运动动态和长程时间依赖性，从而更有效地捕捉动作的细节和上下文信息。

技术框架：DUGO的整体架构包括双尺度时间编码器和高斯记忆库。双尺度时间编码器负责提取局部和全局特征，而高斯记忆库则通过门控交叉注意力机制增强时间记忆的表达能力。

关键创新：DUGO的主要创新在于引入了高斯记忆库，将动作记忆表示为随机的高斯原型，这与传统的固定记忆表示方法有本质区别，能够更灵活地适应输入变化。

关键设计：在设计中，DUGO使用了深度局部表示与全局自注意力相结合的方式，确保能够捕捉到细粒度的时间模式。同时，门控交叉注意力机制在编码器和锚点查询阶段的应用，进一步提升了模型的记忆能力和准确性。

🖼️ 关键图片

fig_0
fig_1

📊 实验亮点

DUGO在EGTEA和EPIC-Kitchens-100数据集上实现了最先进的性能，具体表现为在这些基准上相较于现有方法有显著提升，尤其是在复杂动作的检测和定位上，提升幅度达到XX%。此外，在非自我中心基准Muses上也表现出显著的改进，验证了其广泛适用性。

🎯 应用场景

该研究的潜在应用场景包括实时视频监控、智能家居系统和人机交互等领域。通过提高在线时序动作定位的准确性，DUGO能够在多种实际应用中提供更智能的行为识别和响应能力，具有重要的实际价值和未来影响。

📄 摘要（原文）

Online Temporal Action Localization (OnTAL) aims to detect and localize action instances from untrimmed streaming videos in real time. Unlike offline approaches, OnTAL models have no access to future frames and cannot go back and refine earlier predictions, which makes the task considerably harder given the strict real-time constraints and narrow temporal window available. Most existing OnTAL methods lean on either brief anchor-based context or a single-scale memory of past frames, which limits how well they can capture actions unfolding across multiple time scales or requiring long-range reasoning in Procedural Videos. To address these gaps, we present DUGO (Dual-Scale Encoding and Gaussian Memory Online), a new OnTAL framework that jointly models local motion dynamics and long-range temporal dependencies. At its core, DUGO uses a Dual-Scale Temporal Encoder, pairing depth-wise local representations with global self-attention so it can pick up both fine-grained temporal patterns and broader contextual cues. We also introduce a Gaussian Memory Bank, which represents action memory as stochastic, input-conditioned Gaussian prototypes, allowing for richer temporal memory through gated cross-attention applied at both the encoder and anchor-query stages. Extensive experiments on procedural egocentric datasets (EGTEA, EPIC-Kitchens-100) demonstrate that DUGO achieves state-of-the-art performance while also providing substantial improvements on non-egocentric benchmarks such as Muses. The project page is available at: https://aman554-eq.github.io/DUGO