EchoFoley: Event-Centric Hierarchical Control for Video Grounded Creative Sound Generation
作者: Bingxuan Li, Yiming Cui, Yicheng He, Yiwei Wang, Shu Zhang, Longyin Wen, Yulei Niu
分类: cs.CV
发布日期: 2025-12-31
💡 一句话要点
提出EchoFoley，通过事件中心的分层控制实现视频相关的创意声音生成。
🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)
关键词: 视频声音生成 事件中心控制 分层语义控制 多模态学习 智能体生成
📋 核心要点
- 现有视频-文本到音频模型存在视觉主导、缺乏细粒度控制和指令理解弱等问题。
- 提出EchoFoley任务，通过事件级别的局部控制和分层语义控制实现可控的声音生成。
- 构建了EchoFoley-6k数据集，并提出了EchoVidia框架，实验证明其性能显著优于现有模型。
📝 摘要（中文）
声音效果是多模态叙事的重要组成部分，塑造视频的情感氛围和叙事语义。尽管视频-文本到音频（VT2A）技术取得了进展，但当前方法存在三个主要限制：视觉和文本条件之间的不平衡导致视觉主导；缺乏对细粒度可控生成的具体定义；指令理解和遵循能力较弱，因为现有数据集依赖于简短的类别标签。为了解决这些限制，我们引入了EchoFoley，这是一个新的任务，旨在通过事件级别的局部控制和分层语义控制进行视频相关的声音生成。我们用于发声事件的符号表示指定了每个声音在视频或指令中产生的时间、内容和方式，从而实现诸如声音生成、插入和编辑之类的细粒度控制。为了支持这项任务，我们构建了EchoFoley-6k，这是一个大规模的、专家策划的基准，包含超过6,000个视频-指令-注释三元组。在此基础上，我们提出了EchoVidia，一个以发声事件为中心的智能体生成框架，具有慢-快思考策略。实验表明，EchoVidia在可控性方面比最近的VT2A模型高出40.7%，在感知质量方面高出12.5%。
🔬 方法详解
问题定义：现有视频-文本到音频（VT2A）模型在生成声音效果时，存在视觉信息过度主导的问题，导致生成的声音与文本描述不符。此外，缺乏对声音生成的细粒度控制，例如无法精确控制声音的起始时间、类型和强度。现有数据集的标注信息过于简单，不足以训练模型理解复杂的指令。
核心思路：论文的核心思路是以“发声事件”为中心，将声音生成过程分解为一系列可控的事件。通过对每个事件进行精确的符号化表示，包括时间、内容和方式，实现对声音生成的细粒度控制。同时，采用分层语义控制，从全局和局部两个层面指导声音生成。
技术框架：EchoVidia框架采用了一种智能体（Agentic）生成方式，模拟人类的思考过程，包含慢速思考和快速执行两个阶段。慢速思考阶段负责理解视频内容和指令，规划发声事件序列；快速执行阶段则根据事件序列生成相应的声音。框架包含视频编码器、文本编码器、事件预测模块、音频生成模块等。
关键创新：最重要的创新点在于提出了以“发声事件”为中心的符号化表示方法，将声音生成过程分解为可控的事件序列。这种方法使得模型能够精确控制声音的各个方面，从而实现细粒度的可控生成。此外，EchoVidia框架的慢-快思考策略也提高了模型的指令理解和遵循能力。
关键设计：EchoFoley-6k数据集包含视频、指令和发声事件标注三元组。发声事件标注包括事件的起始时间、类型和属性。EchoVidia框架采用Transformer架构，使用交叉注意力机制融合视频和文本信息。损失函数包括事件预测损失和音频生成损失，用于优化模型的性能。
🖼️ 关键图片
📊 实验亮点
实验结果表明，EchoVidia在可控性方面比现有的VT2A模型提高了40.7%，在感知质量方面提高了12.5%。这些显著的提升表明，以发声事件为中心的控制方法能够有效地提高声音生成的可控性和质量。此外，消融实验验证了慢-快思考策略的有效性。
🎯 应用场景
该研究成果可应用于电影制作、游戏开发、虚拟现实等领域，实现自动化、可控的声音效果生成。例如，可以根据视频内容自动生成逼真的环境音效，或者根据用户的指令生成特定的声音效果，从而提高内容创作的效率和质量。未来，该技术有望进一步发展，实现更加智能化的声音设计。
📄 摘要（原文）
Sound effects build an essential layer of multimodal storytelling, shaping the emotional atmosphere and the narrative semantics of videos. Despite recent advancement in video-text-to-audio (VT2A), the current formulation faces three key limitations: First, an imbalance between visual and textual conditioning that leads to visual dominance; Second, the absence of a concrete definition for fine-grained controllable generation; Third, weak instruction understanding and following, as existing datasets rely on brief categorical tags. To address these limitations, we introduce EchoFoley, a new task designed for video-grounded sound generation with both event level local control and hierarchical semantic control. Our symbolic representation for sounding events specifies when, what, and how each sound is produced within a video or instruction, enabling fine-grained controls like sound generation, insertion, and editing. To support this task, we construct EchoFoley-6k, a large-scale, expert-curated benchmark containing over 6,000 video-instruction-annotation triplets. Building upon this foundation, we propose EchoVidia a sounding-event-centric agentic generation framework with slow-fast thinking strategy. Experiments show that EchoVidia surpasses recent VT2A models by 40.7% in controllability and 12.5% in perceptual quality.