ASDR: Exploiting Adaptive Sampling and Data Reuse for CIM-based Instant Neural Rendering

📄 arXiv: 2508.02304v1 📥 PDF

作者: Fangxin Liu, Haomin Li, Bowen Zhu, Zongwu Wang, Zhuoran Song, Habing Guan, Li Jiang

分类: cs.AR, cs.ET, cs.GR

发布日期: 2025-08-04

备注: Accepted by the 2025 International Conference on Architectural Support for Programming Languages and Operating Systems (ASPLOS 2025). The paper will be presented at ASPLOS 2026

💡 一句话要点

提出ASDR以解决神经渲染中的即时性与能效问题

🎯 匹配领域: 支柱三：空间感知与语义 (Perception & Semantics)

关键词: 神经渲染 计算内存 动态采样 高效架构 图形渲染 能效优化 算法设计

📋 核心要点

  1. 现有神经渲染模型在即时性和能效方面存在显著不足，导致推理延迟和高能耗。
  2. 提出ASDR方法，通过动态采样和MLP开销减少，结合CIM架构实现高效神经渲染。
  3. 实验表明，ASDR在图形渲染任务中实现了最高9.55倍和69.75倍的加速，且PSNR损失仅为0.1。

📝 摘要（中文）

神经辐射场（NeRF）在生成逼真图像和视频方面展现出巨大潜力。然而，现有的神经渲染模型在实际应用中常常无法满足即时性和能效的需求，表现出不规则的访问模式和显著的计算开销，导致推理延迟和高能耗。为此，本文提出了一种算法-架构协同设计的方法ASDR，基于计算内存（CIM）加速器，支持高效的神经渲染。我们在算法层面提出了动态采样和减少多层感知机（MLP）开销的优化方案，并在架构层面设计了高效的ReRAM基础CIM架构。实验结果表明，该设计在图形渲染任务中相较于现有NeRF加速器和Xavier NX GPU实现了最高9.55倍和69.75倍的加速，仅损失0.1的PSNR。

🔬 方法详解

问题定义：本文旨在解决现有神经渲染模型在实际应用中面临的即时性和能效不足的问题。现有模型常常表现出不规则的访问模式和高计算开销，导致推理延迟和能耗过高。

核心思路：ASDR方法通过算法与架构的协同设计，提出动态采样和MLP开销减少的优化方案，以提高渲染效率并降低能耗。动态采样根据不同像素的渲染难度进行在线感知，从而减少内存访问和计算开销。

技术框架：ASDR的整体架构包括两个主要模块：算法层的动态采样和MLP优化，以及架构层的高效ReRAM基础CIM设计。算法层通过优化渲染过程，架构层则通过高效的数据映射和重用微架构来提升性能。

关键创新：ASDR的核心创新在于结合了动态采样和MLP的解耦近似，显著减少了渲染过程中的计算负担。这种设计与传统方法相比，能够更有效地利用计算资源，降低能耗。

关键设计：在具体实现中，ASDR采用了高效的ReRAM架构，优化了数据映射和重用策略，确保在保持渲染质量的同时，最大限度地提高了计算效率。

📊 实验亮点

实验结果显示，ASDR在图形渲染任务中相较于现有的NeRF加速器实现了最高9.55倍的加速，相比Xavier NX GPU则实现了69.75倍的加速，且仅损失0.1的PSNR，展现出显著的性能提升。

🎯 应用场景

该研究的潜在应用领域包括虚拟现实、增强现实和游戏开发等需要高效图形渲染的场景。通过提升神经渲染的即时性和能效，ASDR能够为这些领域提供更流畅的用户体验，并推动相关技术的进一步发展。

📄 摘要（原文）

Neural Radiance Fields (NeRF) offer significant promise for generating photorealistic images and videos. However, existing mainstream neural rendering models often fall short in meeting the demands for immediacy and power efficiency in practical applications. Specifically, these models frequently exhibit irregular access patterns and substantial computational overhead, leading to undesirable inference latency and high power consumption. Computing-in-memory (CIM), an emerging computational paradigm, has the potential to address these access bottlenecks and reduce the power consumption associated with model execution. To bridge the gap between model performance and real-world scene requirements, we propose an algorithm-architecture co-design approach, abbreviated as ASDR, a CIM-based accelerator supporting efficient neural rendering. At the algorithmic level, we propose two rendering optimization schemes: (1) Dynamic sampling by online sensing of the rendering difficulty of different pixels, thus reducing access memory and computational overhead. (2) Reducing MLP overhead by decoupling and approximating the volume rendering of color and density. At the architecture level, we design an efficient ReRAM-based CIM architecture with efficient data mapping and reuse microarchitecture. Experiments demonstrate that our design can achieve up to $9.55\times$ and $69.75\times$ speedup over state-of-the-art NeRF accelerators and Xavier NX GPU in graphics rendering tasks with only $0.1$ PSNR loss.