EVAN: Evolutional Video Streaming Adaptation via Neural Representation

📄 arXiv: 2406.02557v1 📥 PDF

作者: Mufan Liu, Le Yang, Yiling Xu, Ye-kui Wang, Jenq-Neng Hwang

分类: eess.IV, cs.AI, cs.CV, cs.MM

发布日期: 2024-04-15

备注: accepted by ICME (conference)

💡 一句话要点

提出EVAN框架以解决视频流自适应比特率问题

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture)

关键词: 自适应比特率 视频流传输 神经表示视频 强化学习 视频质量提升

📋 核心要点

  1. 现有的自适应比特率方法在决策后无法调整比特率，导致带宽利用不充分或频繁缓冲。
  2. 本文提出EVAN框架，通过神经表示视频（NeRV）和强化学习实现自适应比特率传输，提升视频流的灵活性。
  3. 实验结果显示，EVAN相比现有ABR方法减少了50%的缓冲时间，并提升了近20%的视频质量。

📝 摘要（中文）

传统编码器的自适应比特率（ABR）在做出决策后无法进一步修改比特率，导致适应能力有限。这可能导致网络带宽利用不充分或频繁的缓冲。神经表示视频（NeRV）通过将视频内容嵌入神经网络权重中，使得在不依赖相邻帧解码的情况下也能恢复单帧视频。本文提出了一种新框架EVAN，基于软演员-评论家（SAC）强化学习，能够自适应地传输NeRV模型。EVAN采用更具开发性的策略并利用渐进播放以避免缓冲。实验表明，EVAN在减少50%缓冲的同时，性能提升近20%。

🔬 方法详解

问题定义：本文旨在解决传统自适应比特率（ABR）方法在决策后无法调整比特率的问题，这导致了网络带宽的低效利用和频繁的缓冲现象。

核心思路：提出EVAN框架，利用神经表示视频（NeRV）技术，通过软演员-评论家（SAC）强化学习实现自适应比特率传输，增强视频流的灵活性和质量。

技术框架：EVAN框架包含两个主要模块：一是NeRV模型的生成与传输，二是基于SAC的自适应比特率决策。通过这两个模块的协同工作，EVAN能够动态调整视频流的比特率。

关键创新：EVAN的最大创新在于结合了NeRV与强化学习，允许在视频传输过程中根据实时网络状况动态调整比特率，从而显著提高了视频流的适应性和质量。

关键设计：在设计中，EVAN采用了渐进播放策略以减少缓冲，并通过强化学习算法优化比特率选择，确保在不同网络条件下都能保持较高的视频质量。具体的损失函数和网络结构细节在论文中进行了详细描述。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果表明，EVAN在减少缓冲方面表现优异，减少了50%的缓冲时间，同时在视频质量上提升了近20%。与现有的自适应比特率方法相比，EVAN展现了显著的性能优势，证明了其在视频流传输中的有效性。

🎯 应用场景

该研究的潜在应用领域包括在线视频流媒体、远程教育、在线游戏等需要高质量视频传输的场景。通过提高视频流的自适应能力，EVAN能够在各种网络条件下提供更流畅的用户体验，具有重要的实际价值和未来影响。

📄 摘要（原文）

Adaptive bitrate (ABR) using conventional codecs cannot further modify the bitrate once a decision has been made, exhibiting limited adaptation capability. This may result in either overly conservative or overly aggressive bitrate selection, which could cause either inefficient utilization of the network bandwidth or frequent re-buffering, respectively. Neural representation for video (NeRV), which embeds the video content into neural network weights, allows video reconstruction with incomplete models. Specifically, the recovery of one frame can be achieved without relying on the decoding of adjacent frames. NeRV has the potential to provide high video reconstruction quality and, more importantly, pave the way for developing more flexible ABR strategies for video transmission. In this work, a new framework, named Evolutional Video streaming Adaptation via Neural representation (EVAN), which can adaptively transmit NeRV models based on soft actor-critic (SAC) reinforcement learning, is proposed. EVAN is trained with a more exploitative strategy and utilizes progressive playback to avoid re-buffering. Experiments showed that EVAN can outperform existing ABRs with 50% reduction in re-buffering and achieve nearly 20% .