Identity-Preserving Text-to-Video Generation via Agentic Enhancement and Semantic Repair

📄 arXiv: 2608.20749v1 📥 PDF

作者: Jiayi Gao, Changcheng Hua, Jiaqi Tang, Yuxin Peng, Yang Liu

分类: cs.CV

发布日期: 2026-08-21

🔗 代码/项目: GITHUB

💡 一句话要点

提出AESR框架以解决身份保留视频生成中的问题

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 身份保留 视频生成 自然语言处理 视觉语义修复 增强学习 多模态融合 生成模型

📋 核心要点

  1. 现有视频生成模型在保持主体身份方面存在身份漂移和细节缺失等问题，影响生成质量。
  2. 提出的AESR框架通过全球代理提示增强模块和样本级视觉语义修复模块，改善提示构建和修复生成错误。
  3. 在ACM MM 2026挑战赛中，系统MIPL_Video获得第一名，验证了AESR在身份保留视频生成中的有效性。

📝 摘要（中文）

身份保留视频生成旨在合成遵循自然语言指令的视频，同时保持给定主体的视觉身份。尽管现有商业视频生成模型在视觉质量和运动真实感上表现出色，但仍存在身份漂移、指令执行不完整和在复杂提示下缺失视觉细节等问题。由于这些模型通常是封闭源代码的黑箱，直接通过参数优化进行改进往往不可行。因此，本文提出了一种轻量级的增强框架——Agentic Enhancement and Semantic Repair (AESR)，以改善生成前的提示构建并减轻上述失败。AESR引入了全球代理提示增强模块和样本级视觉语义修复模块，显著提升了身份保留视频生成的效果。我们的系统MIPL_Video在ACM MM 2026身份保留视频生成挑战赛中获得第一名，证明了AESR的有效性。

🔬 方法详解

问题定义：本文旨在解决现有身份保留视频生成模型在生成过程中出现的身份漂移、指令执行不完整和视觉细节缺失等问题。这些问题导致生成视频的质量和一致性不足，影响用户体验。

核心思路：AESR框架的核心思路是通过引入全球代理提示增强模块和样本级视觉语义修复模块，来优化生成前的提示构建和后期的错误修复。这样的设计旨在提升生成视频的准确性和一致性，确保生成结果更符合用户的期望。

技术框架：AESR框架主要包括两个模块：全球代理提示增强模块和样本级视觉语义修复模块。前者通过学习模型特定的提示格式和人类交互数据，优化生成提示；后者则利用视觉语言模型（VLM）定位错误视频片段并设计修复指令，指导视频编辑模型进行修复。

关键创新：AESR的关键创新在于其轻量级的增强框架，特别是全球代理提示增强模块的设计，使得模型能够从人类交互中学习并积累经验，形成可重用的提示库。这一方法与传统的参数优化方法本质上不同，提供了一种新的思路来提升生成质量。

关键设计：在设计上，AESR采用了轻量级的Mixture-of-Experts选择策略，以从不同的生成和修复路径中选择可靠的输出。此外，样本级视觉语义修复模块的实现依赖于VLM的有效应用，确保修复指令的准确性和有效性。整体架构的设计注重模块间的协同工作，以实现最佳的生成效果。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

在ACM MM 2026身份保留视频生成挑战赛中，系统MIPL_Video在Track 1中获得第一名，展示了AESR框架在身份保留视频生成中的有效性。相较于基线模型，AESR显著提升了生成视频的质量和一致性，解决了身份漂移和细节缺失的问题，证明了其在实际应用中的潜力。

🎯 应用场景

该研究的潜在应用领域包括影视制作、游戏开发和虚拟现实等场景，能够为创作者提供高质量的自动化视频生成工具。通过保持主体身份的一致性，AESR框架可以在广告、教育和娱乐等多个行业中发挥重要作用，提升内容创作的效率和质量。未来，随着技术的进一步发展，AESR有望在更多复杂场景中应用，推动视频生成技术的进步。

📄 摘要（原文）

Identity-preserving video generation aims to synthesize videos that follow natural-language instructions while maintaining the visual identity of a given subject. Recent commercial video generation models have achieved strong visual quality and motion realism, but they still suffer from identity drift, incomplete instruction following, and missing visual details under complex prompts. Since these models are usually closed-source black boxes, directly improving them through parameter optimization is often infeasible. We therefore propose Agentic Enhancement and Semantic Repair (AESR), a lightweight enhancement framework for identity-preserving video generation. To improve prompt construction before generation and mitigate the above failures, AESR introduces a global agentic prompt enhancement module. This module learns model-specific prompting formats from official documentation, acquires human-centered video generation priors from human-interaction data, and accumulates test-domain identity-preserving generation experience into a reusable playbook through an agentic loop. To further repair errors in videos generated with enhanced prompts, AESR introduces a sample-level visual semantic repair module, which uses a VLM to locate erroneous video segments and design repair instructions, edits selected frames into explicit visual references, and guides a video editing model to fix local semantic or identity-related errors. We also adopt a lightweight Mixture-of-Experts selection strategy to choose reliable outputs from different generation and refinement paths. Under the official evaluation protocol of the ACM MM 2026 Identity-Preserving Video Generation Challenge, our system MIPL_Video ranked first in Track 1, demonstrating the effectiveness of AESR for practical identity-preserving video generation. The code is available at https://github.com/oceanflowlab/AESR.