Taming I2V models for Image HOI Editing: A Cognitive Benchmark and Agentic Self-Correcting Framework
作者: Jiayi Gao, Qingchao Chen, Yuxin Peng, Yang Liu
分类: cs.CV
发布日期: 2026-06-17
🔗 代码/项目: GITHUB
💡 一句话要点
提出HOI-Edit基准与SCPE框架以解决复杂人机交互编辑问题
🎯 匹配领域: 支柱五：交互与反应 (Interaction & Reaction)
关键词: 人机交互 图像编辑 动态生成 自我纠正 基准评估
📋 核心要点
- 现有图像编辑方法在处理复杂人机交互时表现不佳，无法有效评估动态交互的有效性与人机对的保留。
- 本文提出HOI-Edit基准和SCPE框架，通过自动化评估和迭代优化提示来提升人机交互编辑的准确性。
- 在HOI-Edit基准上，SCPE的性能与当前最先进的编辑模型Nano Banana相当，展示了其有效性。
📝 摘要（中文）
当前的图像编辑方法在处理静态属性方面表现出色，但在复杂的人机交互（HOI）上存在显著不足。现有基准将HOI与静态属性混为一谈，依赖于无法同时评估动态交互有效性和人机对的保留的全局指标。因此，本文首次引入HOI-Edit基准，设有三个渐进的认知层次，并提出自动化指标HOI-Eval，通过对包含人机对的图像进行问答评估实例级交互。我们还基准测试了图像到视频（I2V）模型，发现其因具备时间生成能力而适合动态编辑。基于此，我们提出了自我纠正过程编辑（SCPE）框架，通过迭代优化提示约束I2V模型生成，使生成的视频更准确地呈现目标HOI。最终，从这些视频中提取的帧作为编辑结果，在HOI-Edit上，SCPE的表现与最先进的编辑模型Nano Banana相当。
🔬 方法详解
问题定义：本文旨在解决现有图像编辑方法在复杂人机交互（HOI）处理中的不足，尤其是无法同时评估动态交互有效性和人机对保留的问题。
核心思路：论文提出HOI-Edit基准和SCPE框架，通过引入自动化评估指标和迭代优化提示，旨在提升动态人机交互编辑的准确性和有效性。
技术框架：整体架构包括三个主要模块：HOI-Edit基准、HOI-Eval自动化评估指标和SCPE自我纠正框架。首先，HOI-Edit提供了多层次的评估标准；其次，HOI-Eval通过问答方式评估实例级交互；最后，SCPE通过迭代优化生成过程。
关键创新：最重要的创新在于SCPE框架的引入，它通过约束I2V模型生成过程，使得生成的视频能够更准确地呈现目标HOI，提供了对错误过程的独特诊断能力。
关键设计：在SCPE框架中，关键设计包括迭代优化的提示设置，损失函数的选择，以及I2V模型的结构调整，以确保生成结果的高质量和准确性。
🖼️ 关键图片
📊 实验亮点
在HOI-Edit基准上，SCPE的表现与最先进的编辑模型Nano Banana相当，展示了其在复杂人机交互编辑中的有效性，进一步推动了该领域的研究进展。
🎯 应用场景
该研究的潜在应用领域包括影视制作、游戏开发和虚拟现实等，能够为动态场景中的人机交互编辑提供更高效和准确的解决方案，具有重要的实际价值和未来影响。
📄 摘要（原文）
Current image editing methods excel at static attributes but fail at complex Human-Object Interactions (HOI), a critical challenge unaddressed by existing benchmarks that conflate HOI with static attributes, relying on global metrics incapable of simultaneously assessing dynamic interaction validity and entangled human-object pair preservation. Thus, we first introduce HOI-Edit, a comprehensive benchmark with three progressive cognitive levels, which features an automated metric HOI-Eval that reliably evaluates instance-level interaction by letting VLM Q&A after thinking with images containing grounded Human-Object pairs. Considering the task's essence of remodeling dynamic relationships, we benchmark Image-to-Video (I2V) models, finding them inherently suited for dynamic editing due to their temporal generation capabilities. Crucially, beyond superior performance, this capability provides a "replay of the failure process," offering unique diagnosability into why errors occur. We thus propose SCPE (Self-Correcting Process Editing), a novel, agentic self-correcting framework that constrains the generation of I2V models through iteratively refined prompts, enabling the generated videos to more accurately present the target HOI. Extracted frames from these videos are the final editing results. On HOI-Edit, SCPE achieves performance competitive with state-of-the-art (SOTA) editing models like Nano Banana on interaction. Code is available at https://github.com/oceanflowlab/HOI-Edit.