Beyond Trial-and-Error: Agentic Optimization for Image-to-Video Adherence
作者: Aman Tyagi, Hemanth Boinpally, Jonathan Chen, Douglas Gebert, Steven Hickson
分类: cs.CV, cs.AI, cs.MM
发布日期: 2026-08-12
💡 一句话要点
提出Agentic Self-Improvement框架以解决I2V模型控制不足问题
🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)
关键词: 图像到视频 自动内容生成 闭环优化 多模态大语言模型 贝叶斯优化 视频-文本一致性 生成模型
📋 核心要点
- 现有的I2V模型缺乏细粒度控制，导致生成结果的不确定性和低效的试错过程。
- 提出的Agentic Self-Improvement框架通过闭环优化重构视频合成，利用多模态大语言模型进行提示优化。
- 实验结果显示，使用该框架生成的视频在用户偏好上显著优于基线，胜率高达69%。
📝 摘要（中文）
现代黑箱图像到视频（I2V）模型在自动内容创作中展现出强大能力，但缺乏细粒度控制和可靠性，给专业工作流程带来了显著挑战。微小的文本提示或超参数变化可能导致输出结果的巨大差异，常常需要低效的试错过程。为了解决这些局限性，本文提出了“Agentic Self-Improvement”框架，将视频合成重新构建为一个闭环的目标导向优化过程。该框架通过一种新颖的两阶段方法系统地导航生成参数空间，显著优于无指导的搜索方法，并在用户偏好研究中显示出高达69%的胜率。
🔬 方法详解
问题定义：本文旨在解决现代I2V模型在生成内容时缺乏控制和可靠性的问题。现有方法的随机性使得微小的输入变化导致输出结果的巨大差异，造成低效的试错过程。
核心思路：提出的Agentic Self-Improvement框架将视频合成视为一个闭环的目标导向优化过程，通过系统地导航生成参数空间来提升生成结果的可预测性和控制性。
技术框架：框架分为两个主要阶段：第一阶段使用多模态大语言模型进行迭代提示优化，第二阶段利用贝叶斯优化共同优化随机种子和CFG尺度。
关键创新：最重要的创新在于引入了视频-文本一致性评分（VTA），通过DSG和CMQ评估来指导优化过程，从而显著提升生成视频的质量和一致性。
关键设计：在提示优化阶段，采用了Davidsonian Scene Graph（DSG）查询和Common Mistake Questions（CMQ）进行自动评估；在优化阶段，使用了一系列质量指标来指导贝叶斯优化过程。
🖼️ 关键图片
📊 实验亮点
实验结果表明，使用Agentic Self-Improvement框架生成的视频在用户偏好上显著优于基线方法，胜率高达69%。这一结果表明该框架在提高视频生成质量和一致性方面具有显著优势。
🎯 应用场景
该研究的潜在应用领域包括影视制作、广告创作和教育视频生成等。通过提升I2V模型的可控性和可靠性，能够为专业创作者提供更高效的工具，推动自动内容生成技术的实际应用和发展。
📄 摘要（原文）
Modern black-box Image-to-Video (I2V) models offer powerful capabilities in automated content creation, yet their lack of fine-grained control and reliability presents significant challenges in professional workflows. Their inherent stochasticity causes minor variations in textual prompts or hyperparameters to yield drastically different outputs often necessitating inefficient, brute-force trial-and-error processes. To address these limitations, we introduce the ``Agentic Self-Improvement" framework, which reframes video synthesis into a closed-loop, goal-directed optimization. Our framework systematically navigates the generation parameter space using a novel two-stage approach. In the first stage, an iterative prompt optimization loop uses a multimodal Large Language Model (mLLM) to refine the input prompt. This refinement implements two automated evaluations: Davidsonian Scene Graph (DSG) queries ensure semantic adherence, and Common Mistake Questions (CMQ) for artifact detection. At the second stage, we use Bayesian optimization to efficiently co-optimize stochastic seeds and CFG scales. This search is guided by a suite of quality metrics, including the novel Video-Text Adherence (VTA) score derived from the DSG and CMQ evaluations. Our framework significantly outperforms unguided search methods: in human preference studies, videos generated via our agentic approach were strongly preferred over baseline outputs, achieving win rates up to 69\%. This work provides a practical and extensible methodology for enhancing the predictability and control of state-of-the-art video generation models, moving the field beyond speculative curiosities toward reliable, production-ready tools.