WHTMix: Efficient Stereo Depth Estimation via Walsh-Hadamard Token Mixing
作者: Prathyush Sajith, Emadeldeen Hamdan, Ahmet Enis Cetin
分类: cs.CV, eess.IV, eess.SP
发布日期: 2026-07-28
💡 一句话要点
提出WHTMix以解决高效立体深度估计问题
🎯 匹配领域: 支柱三：空间感知与语义 (Perception & Semantics)
关键词: 立体深度估计 Walsh-Hadamard 变换器 高效计算 深度学习 机器人技术 增强现实
📋 核心要点
- 现有的立体深度估计方法在高分辨率下面临计算复杂度高和延迟大的挑战，尤其是基于变换器的模型。
- 论文提出了一种Walsh-Hadamard令牌混合器，能够以对数线性成本全局混合令牌，从而替代传统的自注意力机制。
- 实验结果显示，该方法在保持准确度的同时，显著降低了计算量和推理延迟，提升了立体匹配的效率。
📝 摘要（中文）
立体深度估计在驾驶、机器人和增强现实等领域需要在高分辨率和严格的延迟预算下运行。然而，基于变换器的匹配器中，聚合场景上下文的全局自注意力随着像素数量的增加而呈二次增长，主导了运行时间。本文提出用数据无关的Walsh-Hadamard令牌混合器替代立体变换器的联合自注意力阶段，以对数线性成本在变换域中全局混合令牌，同时保留数据相关的交叉注意力。实验表明，该混合器在端点误差上与注意力基线相匹配，同时将模型计算量减少了2.46倍，单图像推理延迟减少了2.65倍。
🔬 方法详解
问题定义：论文要解决的是高效的立体深度估计问题，现有方法在高分辨率下的计算复杂度和延迟过高，尤其是基于变换器的模型中全局自注意力的计算量呈二次增长。
核心思路：论文的核心解决思路是用Walsh-Hadamard令牌混合器替代立体变换器中的联合自注意力阶段，以对数线性成本在变换域内全局混合令牌，同时保留数据相关的交叉注意力。这样的设计旨在减少计算复杂度，同时保持深度估计的准确性。
技术框架：整体架构包括输入图像的特征提取、Walsh-Hadamard令牌混合器的全局混合阶段，以及数据相关的交叉注意力阶段，最后通过损失函数进行优化。
关键创新：最重要的技术创新点在于引入Walsh-Hadamard令牌混合器，显著降低了计算复杂度，并且在高分辨率立体匹配中表现出色，与传统方法相比，计算效率大幅提升。
关键设计：论文中设计了混合器的参数设置，并引入了一种混合对数视差损失函数，以加大对小视差像素的权重，从而改善远处物体的估计精度，而不会增加额外的计算开销。
🖼️ 关键图片
📊 实验亮点
实验结果表明，WHTMix在端点误差上与传统的注意力基线相匹配，同时将模型计算量减少了2.46倍，单图像推理延迟减少了2.65倍。这些结果表明该方法在高效立体深度估计中的显著优势。
🎯 应用场景
该研究的潜在应用领域包括自动驾驶、机器人导航和增强现实等场景，能够在高分辨率下实现实时的深度估计，提升系统的智能化水平和用户体验。未来，该方法有望在更多需要高效深度估计的应用中得到推广和应用。
📄 摘要（原文）
Stereo depth estimation for driving, robotics and augmented reality must run at high resolution under tight latency budgets, yet in transformer-based matchers the global self-attention that aggregates scene context grows quadratically with the number of pixels and comes to dominate runtime. We show that the joint self-attention stage of a stereo transformer, whose role is to spread context across both views, can be replaced by a data-independent Walsh-Hadamard token mixer that mixes tokens globally in the transform domain at log-linear cost, while the data-dependent cross-attention that performs left-right correspondence is retained. On synthetic driving data the mixer matches the attention baseline in end-point error while reducing model compute by a factor of 2.46 and single-image inference latency by a factor of 2.65. A complexity analysis shows the benefit is governed by the ratio of sequence length to channel width, which explains why high-resolution stereo matching is a particularly favorable setting and why classification transformers are not; we confirm this token-to-channel scaling on non-stereo long-sequence benchmarks. Furthermore, we introduce a hybrid log-disparity loss function designed to up-weight small-disparity pixels corresponding to long-range objects. This approach reduces the error on distant objects without incurring any additional computational overhead.