CameraEditor: Camera-Controlled Image Editing via Video-Prior Sequential Modeling
作者: Xin Shen, Chengyou Jia, Keshuo Xing, Zifeng Zhu, Changliang Xia, Bowen Ping, Zhuohang Dang, Hangwei Qian, Minnan Luo
分类: cs.CV
发布日期: 2026-09-01
备注: Accepted to ACM Multimedia 2026
💡 一句话要点
提出CameraEditor以解决图像编辑中的相机参数控制问题
🎯 匹配领域: 支柱一：机器人控制 (Robot Control)
关键词: 相机参数控制 图像编辑 时间序列预测 视频扩散模型 几何感知
📋 核心要点
- 现有图像编辑模型在相机参数控制上表现不足，尤其在处理大视角变化时容易出现结构撕裂或保守输出。
- CameraEditor框架通过将相机控制编辑转化为时间序列预测任务，利用视频扩散模型的时间一致性来解决这一问题。
- 实验结果显示，CameraEditor在相机控制精度和源身份保持方面超越了现有方法，表现出色。
📝 摘要（中文）
相机参数在决定图像的几何视角和外观方面起着关键作用。尽管现有的图像编辑模型在语义和风格操作上表现出色，但在显式控制相机参数时却面临挑战。为了解决这一问题，本文提出了CameraEditor框架，将相机控制编辑重新定义为时间序列预测任务。通过利用视频扩散模型的时间一致性，该方法集成了显式几何感知模块和动态参考路由机制，构建几何严谨的视觉参考对。此外，CameraEditor通过插入中间过渡帧来分解大幅度的视角变化，保持内容身份和空间一致性。实验结果表明，CameraEditor在相机控制精度和源身份保持方面达到了最先进水平，超越了现有方法。
🔬 方法详解
问题定义：本文旨在解决图像编辑中相机参数控制的不足，现有方法在处理大幅度视角变化时容易出现结构撕裂或忽略几何指令的问题。
核心思路：CameraEditor通过将相机控制编辑视为时间序列预测任务，利用视频扩散模型的时间一致性，结合显式几何感知模块和动态参考路由机制，来实现更精确的相机参数控制。
技术框架：该框架包括几个主要模块：显式几何感知模块用于理解图像的几何特征，动态参考路由机制用于生成几何参考对，以及中间过渡帧插入机制用于分解大视角变化。
关键创新：CameraEditor的核心创新在于将相机控制问题转化为时间序列预测任务，并通过动态参考路由机制克服了文本指令的模糊性，这与现有方法的静态处理方式有本质区别。
关键设计：在设计中，CameraEditor构建了一个包含5760个实例的训练数据集，并引入了CamEditor-Bench评估套件，以便于模型无关的性能评估。
🖼️ 关键图片
📊 实验亮点
实验结果表明，CameraEditor在相机控制精度上达到了最先进水平，相较于现有方法，源身份保持能力显著提升，具体性能数据未提供，但实验表明其在462个测试案例中表现优异。
🎯 应用场景
CameraEditor的研究成果可广泛应用于图像编辑、虚拟现实和增强现实等领域，能够为用户提供更灵活的相机参数控制，提升图像生成的质量和准确性。未来，该技术可能在影视制作、游戏开发和在线内容创作中发挥重要作用。
📄 摘要（原文）
Beyond semantic content, camera parameters play a pivotal role in dictating the geometric perspective and appearance of any given image. While recent image editing models excel at semantic and stylistic manipulation, they struggle with explicit camera parameter control. When handling large perspective shifts, instruction-driven models face a dilemma: they either suffer from structural tearing or generate conservative outputs that ignore geometric instructions. To address this, we introduce CameraEditor, a framework that reformulates camera-controlled editing from a spatial problem into a temporal sequence prediction task. By leveraging the temporal coherence of video diffusion models, our approach integrates an explicit geometric perception module with a dynamic reference routing mechanism. This allows us to construct geometrically rigorous visual reference pairs via dynamic panorama cropping, overcoming the ambiguity of text-based instructions. Furthermore, CameraEditor strategically inserts intermediate transition frames to decompose large perspective shifts, providing a robust temporal buffer that preserves content identity and spatial coherence. We construct a training dataset of 5,760 instances. As an independent contribution, we introduce CamEditor-Bench, a model-agnostic evaluation suite of 462 test cases. Extensive experiments demonstrate that CameraEditor achieves state-of-the-art camera control precision and source identity preservation, outperforming existing methods.