Mover360: Controllable Object Manipulation in 360° Panoramic Images
作者: Haoyi Zhong, Fang-Lue Zhang, Andrew Chalmers, Taehyun Rhee
分类: cs.CV
发布日期: 2026-08-24
🔗 代码/项目: PROJECT_PAGE
💡 一句话要点
提出Mover360以解决360°全景图像中的可控物体操作问题
🎯 匹配领域: 支柱一：机器人控制 (Robot Control)
关键词: 360°全景图像 可控物体操作 图像编辑 深度学习 扩散变换器 虚拟现实 数据生成
📋 核心要点
- 现有的透视图像编辑方法在处理360°全景图像时面临水平环绕和失真的挑战，难以实现物体级的精确编辑。
- Mover360通过集中于物体平移，并支持插入和删除任务，提供了一种新的可控物体操作方法，简化了用户的操作流程。
- 在多个测试领域和评估协议下，Mover360在重建保真度和语义一致性等方面显著优于现有的编辑基线，展示了其强大的性能。
📝 摘要（中文）
我们提出了Mover360，一个用于360°图像的可控物体操作框架。与透视图像不同，360°图像在等距矩形投影中表现出水平环绕、纬度依赖的失真和全局场景连续性，这使得现有的透视编辑器在进行物体级编辑时面临困难。Mover360专注于物体的平移，同时支持参考引导的插入和删除作为辅助任务。其界面通过将每个任务编码为固定提示和紧凑的ERP对齐指令图，统一了点、边界框和掩膜引导控制。实验结果表明，Mover360在重建保真度、语义一致性和分布质量上超越了强基线。
🔬 方法详解
问题定义：本论文旨在解决360°全景图像中物体操作的困难，现有方法在处理全景图像的环绕特性和失真时效果不佳，导致物体级编辑的复杂性增加。
核心思路：Mover360的核心思路是通过集中于物体的平移操作，同时引入插入和删除的辅助功能，提供一种直观的用户交互方式，简化了物体编辑的过程。
技术框架：Mover360的整体架构包括一个轻量级的预训练扩散变换器，用户通过点击选择物体，系统根据全景上下文和辅助深度条件推断物体的大小、支持和照明。
关键创新：该研究的主要创新在于将物体操作任务编码为固定提示和ERP对齐的指令图，统一了不同的控制方式，提升了用户的操作体验。
关键设计：在设计中，采用了基于UE5的数据生成管道，结合表面感知的物体放置和随机照明，生成了大规模的配对数据集，并构建了合成与真实全景的双域基准。
🖼️ 关键图片
📊 实验亮点
在实验中，Mover360在重建保真度、语义一致性和分布质量方面超越了多个强基线，展示了其在透视编辑、插入和修复任务中的卓越性能，具体提升幅度达到XX%。
🎯 应用场景
Mover360的研究成果在虚拟现实、游戏开发和在线内容创作等领域具有广泛的应用潜力。通过提供高效的物体操作工具，用户可以更轻松地编辑和定制360°全景图像，提升用户体验和创作效率。
📄 摘要（原文）
We present Mover360, a controllable object manipulation framework for 360° images. Unlike perspective images, 360° images in equirectangular projection (ERP) exhibit horizontal wrap-around, latitude-dependent distortion, and global scene continuity, which makes object-level edits difficult for existing perspective editors to produce and for users to specify. To address this, Mover360 centers on object Translation (relocating a specified object within an existing panorama) while supporting reference-guided Insert and Remove as auxiliary tasks. Its interface unifies point-, bbox-, and mask-guided control by encoding each task into a fixed prompt and a compact, ERP-aligned instruction map. In the default point mode, a single click relocates an object, allowing the model to infer a plausible size, support, and illumination using panoramic context and an auxiliary depth condition. Structurally, Mover360 is a lightweight adaptation of a pretrained diffusion transformer. To generate paired supervision, we construct a UE5 data-generation pipeline with surface-aware object placement and randomized illumination, yielding large-scale paired data and a dual-domain benchmark of synthetic and real panoramas with ground truth for all three tasks. Across both test domains and two evaluation protocols, Mover360 outperforms strong baselines for perspective editing, insertion, and inpainting in reconstruction fidelity, semantic consistency, and distributional quality. Code and our benchmark dataset are available at https://zhonghaoyi.github.io/Mover360/.