HIVE-Diff: High Frame Rate HDR Video Reconstruction from a Single LDR Frame and Events

📄 arXiv: 2611.03465v1 📥 PDF

作者: Caixin Wang, Qingrui Wang, Jie Zhang, Ralph Etienne-Cummings

分类: eess.IV, cs.CV

发布日期: 2026-11-02

备注: Accepted to WACV 2027 (Applications Track). 8 pages main paper + 8 pages supplementary material (included as appendix), 12 figures, 5 tables. Code: https://github.com/caixinw4-afk/hive-diff

💡 一句话要点

提出HIVE-Diff以解决单帧LDR和事件重建高帧率HDR视频问题

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture) 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 高帧率视频 HDR重建 事件相机 深度学习 蒸馏训练 多模态融合 合成数据 动态场景

📋 核心要点

  1. 现有的事件基础HDR重建方法存在亮度和颜色漂移的问题，缺乏绝对强度参考。
  2. HIVE-Diff框架通过单一LDR参考和事件重建多个HDR帧，采用事件引导的生成和内容补全。
  3. 在合成和多个真实数据集上，HIVE-Diff展示了优异的重建质量和强大的真实数据适应能力。

📝 摘要（中文）

高帧率HDR视频在自动驾驶和科学成像等应用中至关重要，传统相机在时间分辨率和动态范围之间存在权衡。事件相机提供了高速度和广泛光照范围的亮度变化测量，但现有的事件基础HDR重建方法面临亮度和颜色漂移的问题。本文提出HIVE-Diff框架，通过单一LDR参考和事件重建多个HDR帧，采用事件引导的时间生成和HDR内容补全，展示了在合成和真实数据集上的强大重建质量和适应性。

🔬 方法详解

问题定义：本文旨在解决从单一低动态范围（LDR）帧和事件数据重建高帧率HDR视频的问题。现有方法通常依赖于一对一的LDR时间戳重建，导致亮度和颜色的漂移，无法有效利用事件相机的优势。

核心思路：HIVE-Diff框架的核心思想是通过单一LDR参考和事件数据进行HDR时间扩展，重建多个HDR帧，而不是依赖多个对齐的LDR观测。通过事件引导的生成和内容补全，克服了现有方法的局限性。

技术框架：HIVE-Diff的整体架构包括两个主要模块：事件引导的时间生成模块和HDR内容补全模块。前者负责根据事件数据生成时间序列，后者则负责将生成的时间序列转化为高质量的HDR内容。

关键创新：HIVE-Diff的主要创新在于其单参考HDR时间扩展方法，利用事件数据的高时间分辨率和LDR帧的强度信息，显著提升了HDR重建的质量和效率。与传统方法相比，该方法能够更好地处理动态场景和极端光照条件。

关键设计：在模型训练中，采用合成数据进行预训练，并通过教师-学生蒸馏方法将模型适应于真实事件域。损失函数设计上，结合了重建损失和内容一致性损失，以确保生成HDR帧的质量和一致性。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果表明，HIVE-Diff在合成和真实数据集上均表现出色，重建质量显著优于现有基线方法。在多个真实场景中，HDR重建的视觉效果和细节保留能力得到了显著提升，验证了该方法的有效性和实用性。

🎯 应用场景

HIVE-Diff的研究成果在自动驾驶、虚拟现实和科学成像等领域具有广泛的应用潜力。通过高帧率HDR视频重建，能够更好地捕捉快速运动和极端光照条件下的场景，为相关技术的发展提供支持，提升系统的智能化水平和可靠性。

📄 摘要（原文）

High frame rate HDR video is important in applications such as autonomous driving and scientific imaging, where rapid motion and extreme illumination often occur simultaneously. Conventional frame cameras face a trade-off between temporal resolution and dynamic range, while event cameras provide complementary high-speed brightness-change measurements over a wide illumination range. These properties have motivated event-based HDR reconstruction, with existing methods broadly following event-only and hybrid event-frame paradigms. Event-only HDR reconstruction, however, suffers from brightness and color drift due to the lack of absolute intensity references. Hybrid event-frame methods alleviate this ambiguity using low-dynamic-range (LDR) frames as anchors, but most perform one-to-one HDR reconstruction at available LDR timestamps. In this work, we investigate single-reference HDR temporal expansion, reconstructing N HDR frames from one LDR reference and events instead of N aligned LDR observations. We develop HIVE-Diff, an event-conditioned video diffusion framework that decomposes the task into event-guided temporal generation and HDR content completion. Because paired real HDR-event data are scarce, we train on synthetic data and adapt the model to real event domains using LDR-event sequences as proxy supervision with teacher-student distillation. Experiments on synthetic and multiple real-world datasets demonstrate strong reconstruction quality and robust real-data adaptation.