Efficient and High-Quality Depth Estimation via Pixel-Space Diffusion with Linear Attention
作者: Bingde Liu, Wu Ran, Jinglei Zhang, Huanhuan Yuan, Chao Ma
分类: cs.CV
发布日期: 2026-08-31
备注: Accepted by ECCV 2026
💡 一句话要点
提出Lapis以解决高分辨率深度估计的计算效率问题
🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture) 支柱三：空间感知与语义 (Perception & Semantics)
关键词: 深度估计 线性注意力 生成模型 计算效率 结构一致性 高分辨率图像 像素空间 机器学习
📋 核心要点
- 现有的单目深度估计方法在高分辨率图像应用中面临计算成本高和结构一致性差的问题。
- Lapis通过引入线性注意力和一步扩散，结合补丁级和像素级模块，提升了深度估计的效率和质量。
- 在多个基准测试中，Lapis实现了最先进的准确性，推理延迟显著降低，表现出色。
📝 摘要（中文）
本文提出了一种基于线性注意力的像素空间生成框架Lapis，通过一步扩散实现高效且高保真的深度估计。尽管生成框架在单目深度估计中取得了显著进展，但标准注意力的$ extmath{O}(N^2)$复杂度和多步去噪过程在高分辨率图像应用中引入了巨大的计算成本。Lapis通过粗到细的层次结构来解决这些问题，具体包括一个补丁级一致性模块和一个像素级细化模块，显著提高了结构一致性和边界清晰度。实验结果表明，Lapis在多个基准测试中始终实现了最先进的准确性和边界锐利度，在1080P和1440P分辨率下，推理延迟分别减少了7.6倍和10.9倍。
🔬 方法详解
问题定义：本文旨在解决高分辨率图像中深度估计的计算效率和结构一致性问题。现有方法由于标准注意力的复杂度和多步去噪过程，导致在高分辨率应用中计算成本过高。
核心思路：Lapis的核心思路是通过线性注意力和一步扩散来提高深度估计的效率，同时引入补丁级一致性模块和像素级细化模块，以确保结构一致性和细节保留。
技术框架：Lapis的整体架构包括两个主要模块：补丁级一致性模块用于恢复结构一致性，像素级细化模块则通过跳跃连接恢复清晰的几何边界。
关键创新：Lapis的主要创新在于其粗到细的层次结构设计，结合了语义和空间先验，克服了直接应用线性注意力和一步预测所带来的结构一致性差和细节丢失的问题。
关键设计：在设计中，Lapis采用了直接的$x$预测策略，以目标干净数据流形，减少一步扩散中的采样噪声，同时在网络结构中引入了跳跃连接以增强像素间的对应关系。
🖼️ 关键图片
📊 实验亮点
Lapis在多个基准测试中表现出色，始终实现最先进的准确性和边界锐利度。在1080P和1440P分辨率下，推理延迟分别减少了7.6倍和10.9倍，相较于之前的最先进生成模型，显示出显著的性能提升。
🎯 应用场景
该研究的潜在应用领域包括自动驾驶、机器人视觉和增强现实等场景，能够为这些领域提供高效且高质量的深度信息，提升系统的智能化水平和用户体验。未来，Lapis可能在实时深度估计和高分辨率图像处理方面发挥重要作用。
📄 摘要（原文）
This work presents $\textbf{Lapis}$, a $\textbf{l}$inear-$\textbf{a}$ttention-based $\textbf{pi}$xel-$\textbf{s}$pace generative framework that achieves efficient and high-fidelity depth estimation with one-step diffusion. While generative frameworks have significantly advanced monocular depth estimation with superior detail fidelity, the $\mathcal{O}(N^2)$ complexity of standard attention and the multi-step denoising process introduce prohibitive computational costs when scaling them to high-resolution image applications. Although linear attention and one-step prediction are intuitively viable, directly applying them leads to poor structural consistency, detail loss, and noise. Lapis rectifies these limitations through a coarse-to-fine hierarchy. Specifically, a Patch-level Consistency Module restores structural coherence by integrating semantic and spatial priors. Subsequently, a Pixel-level Refinement Module recovers sharp geometric boundaries via skip-connection-based pixel correspondence. Furthermore, to mitigate sampling noise inherent in one-step diffusion, we leverage the manifold assumption and adopt a direct $\mathbf{x}$-prediction strategy to target the clean data manifold. Extensive evaluations on multiple benchmarks demonstrate that Lapis consistently achieves state-of-the-art (SOTA) accuracy and boundary sharpness across various resolutions, reducing inference latency by up to 7.6$\times$ at 1080P and 10.9$\times$ at 1440P resolution compared to previous SOTA generative models.