HarmoniDPO: Video-guided Audio Generation via Preference-Optimized Diffusion

📄 arXiv: 2608.11913v1 📥 PDF

作者: Wenshuo Peng, Kaipeng Zhang

分类: cs.CV

发布日期: 2026-08-12

备注: 31 pages

DOI: 10.1007/s11263-025-02636-8

💡 一句话要点

提出HarmoniDPO以解决视频引导音频生成中的同步与质量问题

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture)

关键词: 视频引导音频生成 偏好优化 扩散模型 多模态学习 音频质量提升

📋 核心要点

  1. 现有视频到音频生成方法在时间同步和音频质量上存在显著不足，难以处理复杂的视觉与听觉关系。
  2. HarmoniDPO通过结合全局上下文与逐帧特征，采用在线直接偏好优化来提升生成音频的感知质量与一致性。
  3. 实验结果显示，HarmoniDPO在音频视频同步和主观音频质量上超越了现有方法，展现出优越的性能。

📝 摘要（中文）

视频到音频生成（V2A）面临着精确时间同步和高感知质量的重大挑战，主要由于视觉和听觉线索之间复杂而模糊的关系。现有方法通常将视频输入压缩为单一特征表示，导致时间动态和细粒度视觉信息的显著损失。此外，这些方法依赖于重建为基础的训练目标，与人类对音频质量和适宜性的感知判断相关性较差。我们提出了HarmoniDPO，一个将基于偏好的优化整合到扩散式V2A生成中的新框架，以解决这些局限性。实验表明，HarmoniDPO在音频视频同步和主观音频质量方面优于现有最先进的方法，提供了一种生成真实且人类偏好的音频的稳健解决方案。

🔬 方法详解

问题定义：论文旨在解决视频引导音频生成中的时间同步和音频质量问题。现有方法通过压缩视频输入为单一特征表示，导致时间动态和细节信息的丢失，且训练目标与人类感知判断相关性较低。

核心思路：HarmoniDPO的核心思路是将基于偏好的优化引入扩散式V2A生成中，利用双重视频表示来保留时间动态和语义细节，同时通过在线直接偏好优化（online-DPO）来提升生成音频的感知质量。

技术框架：HarmoniDPO框架包括两个主要模块：首先是双重视频表示模块，结合全局上下文与逐帧特征；其次是在线直接偏好优化模块，通过人类反馈进行模型微调。

关键创新：HarmoniDPO的主要创新在于引入了在线直接偏好优化，能够根据人类的偏好进行实时调整，显著提升了生成音频的质量和一致性。与现有方法相比，HarmoniDPO在处理复杂的视觉与听觉关系时表现出更好的适应性。

关键设计：在模型设计中，HarmoniDPO使用了多层次的特征提取网络，并设计了特定的损失函数来优化音频的感知质量。此外，双尺度扩散搜索（DDS）算法在推理阶段自适应优化输出的保真度。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果表明，HarmoniDPO在音频视频同步方面的性能提升幅度达到XX%，在主观音频质量评估中超越了现有最先进的方法，显示出其在生成真实音频方面的显著优势。

🎯 应用场景

HarmoniDPO的研究成果在多个领域具有潜在应用价值，包括电影配音、游戏音效生成以及虚拟现实中的音频合成等。通过生成高质量的音频，能够提升用户体验，增强多媒体内容的沉浸感和真实感。

📄 摘要（原文）

Video-to-audio (V2A) generation faces significant challenges in achieving precise temporal synchronization and high perceptual quality due to the complex, ambiguous relationship between visual and auditory cues. Existing methods typically compress video inputs into single feature representations, leading to significant loss of temporal dynamics and fine-grained visual information. These approaches also rely on reconstruction-based training objectives that poorly correlate with human perceptual judgments of audio quality and appropriateness. We propose HarmoniDPO, a novel framework that integrates preference-based optimization into diffusion-based V2A generation to address these limitations. (1) Our approach leverages a dual video representation: combining global context with frame-wise features to preserve temporal dynamics and semantic detail. (2) Inspired by reinforcement learning from human feedback (RLHF), HarmoniDPO employs online Direct Preference Optimization (online-DPO) to fine-tune a diffusion-based V2A model from preference judgments, enhancing perceptual quality and alignment. (3) Additionally, we introduce Dual-scale Diffusion Search (DDS), a test time scaling algorithm that adaptively optimizes output fidelity during inference. Experiments demonstrate that HarmoniDPO outperforms state-of-the-art methods in audio-video synchronization and subjective audio quality, offering a robust solution for generating realistic, human-preferred audio from video.