Prior-Guided Single-Exposure HDR Novel View Synthesis via Base-Gain Representation
作者: Armin Shafiee Sarvestani, Sheyang Tang, Jialu Xu, Zhou Wang
分类: cs.CV, cs.MM
发布日期: 2026-10-29
💡 一句话要点
提出PriorGS以解决单曝光HDR新视图合成问题
🎯 匹配领域: 支柱三:空间感知与语义 (Perception & Semantics)
关键词: 高动态范围 新视图合成 相机响应函数 深度学习 图像重建 计算机视觉 3D表示
📋 核心要点
- 现有的单曝光LDR视图在HDR重建中存在监督不足的问题,导致重建结果不准确。
- 提出PriorGS框架,通过伪HDR监督和可学习的CRF先验,增强HDR重建的准确性和可靠性。
- 实验结果显示,PriorGS在HDR合成任务中显著优于传统方法,提升幅度明显。
📝 摘要(中文)
单曝光高动态范围(HDR)新视图合成(NVS)旨在从单次曝光的低动态范围(LDR)视图中恢复HDR场景,并估计LDR重曝光的相机响应函数(CRF)。由于缺乏HDR真实数据,单曝光LDR视图作为唯一的直接监督来源限制了HDR重建的准确性,迫切需要学习的LDR到HDR重建先验。此外,单曝光LDR视图仅在有限范围内监督CRF建模,因此需要可学习的先验以确保可靠的重曝光。为此,本文提出了PriorGS,一个3D高斯溅射框架,通过伪HDR监督和可学习的先验来解决上述挑战。实验结果表明,PriorGS在性能上显著优于基线方法。
🔬 方法详解
问题定义:本文解决的是如何从单曝光的LDR视图中有效恢复HDR场景的问题。现有方法由于缺乏HDR真实数据,导致重建结果不够准确,且CRF建模仅在有限范围内有效。
核心思路:论文提出的PriorGS框架通过结合伪HDR监督和可学习的CRF先验,旨在提高HDR重建的准确性和可靠性。伪HDR监督来自于2D单曝光HDR重建方法,而CRF先验则确保了模型的单调性和合理性。
技术框架:PriorGS的整体架构包括两个主要模块:伪HDR生成模块和CRF建模模块。伪HDR生成模块利用现有的2D重建技术生成伪HDR图像,并通过闭环重建将其与输入的LDR视图相结合;CRF建模模块则使用可学习的先验来优化CRF的建模。
关键创新:PriorGS的核心创新在于引入了3D基增HDR表示法,将HDR辐射分解为LDR基和叠加的3D增益场,从而提高了对跨视图不一致性的鲁棒性,并支持3D HDR外观编辑。
关键设计:在设计中,PriorGS使用了特定的损失函数来平衡伪HDR和LDR视图之间的重建误差,同时确保CRF模型的单调性。网络结构采用了3D高斯溅射技术,以便更好地处理HDR数据的复杂性。
🖼️ 关键图片
📊 实验亮点
实验结果表明,PriorGS在HDR合成任务中显著优于现有基线方法,具体性能提升达到了XX%(具体数据需根据实验结果填写),有效解决了跨视图不一致性问题,展示了其在实际应用中的潜力。
🎯 应用场景
该研究的潜在应用领域包括计算机视觉、图像处理和虚拟现实等。通过提高HDR图像的合成质量,PriorGS可以在影视制作、游戏开发和增强现实等领域发挥重要作用,提升用户体验和视觉效果。未来,该技术可能推动更高质量的图像生成和编辑工具的发展。
📄 摘要(原文)
Single-exposure high dynamic range (HDR) novel view synthesis (NVS) recovers HDR scenes from low dynamic range (LDR) views captured at a single exposure and estimates camera response function (CRF) for LDR re-exposure. Without HDR ground-truth, using single-exposure LDR views as the sole source of direct supervision underconstrains HDR reconstruction and cannot ensure its faithful recovery, motivating the need for learned LDR-to-HDR reconstruction priors. Moreover, single-exposure LDR views supervise CRF only over a limited range, necessitating a learnable prior for reliable re-exposure beyond it. We propose PriorGS, a 3D Gaussian Splatting framework that addresses both challenges by (1) guiding HDR recovery with pseudo-HDR supervision from 2D single-exposure HDR reconstruction methods while anchoring it to input LDR views through a closed reconstruction loop; and (2) regularizing CRF modeling with a learnable prior that guarantees monotonicity and promotes plausible responses. Yet cross-view inconsistencies in independently generated pseudo-HDR targets impair scene reconstruction when HDR is encoded directly as Gaussian's color attribute. We therefore introduce a 3D base-gain HDR representation that factors HDR radiance into an LDR base and an overlaid 3D gain field, promoting robustness to such inconsistencies and enabling 3D HDR appearance editing. Extensive experiments demonstrate PriorGS's substantial superiority over baselines.