WaLRUS: Wavelets for Long-range Representation Using SSMs

📄 arXiv: 2505.12161v1 📥 PDF

作者: Hossein Babaei, Mel White, Sina Alemohammad, Richard G. Baraniuk

分类: eess.IV, cs.LG, eess.AS, eess.SP, eess.SY

发布日期: 2025-05-17

备注: 15 pages, 8 figures. Submitted to Neurips 2025

💡 一句话要点

提出WaLRUS以解决长程依赖建模问题

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture)

关键词: 长程依赖建模 状态空间模型 小波变换 机器学习 数据处理 信号处理 自然语言处理

📋 核心要点

  1. 现有方法如HiPPO在长程依赖建模中表现优异，但依赖于特定的封闭形式解决方案，限制了其应用范围。
  2. WaLRUS通过引入Daubechies小波，扩展了SaFARi框架，允许从任意框架构建SSMs，增强了模型的灵活性和适应性。
  3. 实验结果表明，WaLRUS在长程依赖建模任务中显著提升了性能，相较于基线方法具有更好的表现。

📝 摘要（中文）

状态空间模型（SSMs）已被证明是建模序列数据中长程依赖的强大工具。尽管最近的HiPPO方法表现出色，并为机器学习模型S4和Mamba奠定了基础，但仍然受限于对少数特定良好行为基的封闭形式解决方案的依赖。SaFARi框架对这一方法进行了推广，使得可以从任意框架构建SSMs，包括非正交和冗余框架，从而允许SSM家族内无限多样的“物种”。本文介绍了WaLRUS（使用SSMs的长程表示的小波），这是基于Daubechies小波构建的SaFARi的新实现。

🔬 方法详解

问题定义：本文旨在解决现有长程依赖建模方法在框架选择上的局限性，特别是对特定基的依赖性，这限制了模型的灵活性和多样性。

核心思路：WaLRUS的核心思路是利用Daubechies小波构建SSMs，从而实现对任意框架的支持，进而增强模型的表达能力和适应性。

技术框架：WaLRUS的整体架构包括数据预处理、框架选择、模型训练和评估四个主要模块。首先，通过小波变换对输入数据进行处理，然后根据所选框架构建SSMs，最后进行模型训练和性能评估。

关键创新：WaLRUS的主要创新在于将小波理论引入SSMs的构建中，打破了对特定基的依赖，使得模型能够适应更广泛的应用场景。与现有方法相比，WaLRUS在框架选择上具有更大的灵活性。

关键设计：在模型设计中，WaLRUS采用了Daubechies小波作为基础框架，设置了适当的超参数以优化模型性能，并使用了特定的损失函数来提高训练效果。

📊 实验亮点

实验结果显示，WaLRUS在长程依赖建模任务中相较于基线方法提升了性能，具体表现为在多个数据集上取得了更低的预测误差，验证了其在实际应用中的有效性和优越性。

🎯 应用场景

WaLRUS在长程依赖建模中具有广泛的应用潜力，特别是在自然语言处理、时间序列分析和信号处理等领域。其灵活的框架选择能力使得该模型能够适应多种复杂的实际场景，具有重要的实际价值和未来影响。

📄 摘要（原文）

State-Space Models (SSMs) have proven to be powerful tools for modeling long-range dependencies in sequential data. While the recent method known as HiPPO has demonstrated strong performance, and formed the basis for machine learning models S4 and Mamba, it remains limited by its reliance on closed-form solutions for a few specific, well-behaved bases. The SaFARi framework generalized this approach, enabling the construction of SSMs from arbitrary frames, including non-orthogonal and redundant ones, thus allowing an infinite diversity of possible "species" within the SSM family. In this paper, we introduce WaLRUS (Wavelets for Long-range Representation Using SSMs), a new implementation of SaFARi built from Daubechies wavelets.