BoxCtrl: 3D-Aware Visual Prompting for Geometric Image Editing

📄 arXiv: 2606.23270v1 📥 PDF

作者: Feifei Wang, Shiyuan Yang, Xiaoyu Li, Jing Liao

分类: cs.CV

发布日期: 2026-06-22

备注: Accepted by SIGGRAPH 2026

💡 一句话要点

提出BoxCtrl以解决3D几何图像编辑的精确性问题

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture) 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 3D图像编辑 视觉提示 几何控制 强化学习 合成数据集

📋 核心要点

  1. 现有的几何图像编辑方法在精确性和一致性方面存在显著挑战，尤其是在3D空间中的操作。
  2. BoxCtrl通过引入RGB 3D边界框作为视觉提示，解耦几何控制与外观控制，从而实现更精确的几何图像编辑。
  3. 实验结果显示，BoxCtrl在多个编辑任务中表现优异，显著提升了几何精度和视觉质量，达到了最先进的性能水平。

📝 摘要（中文）

随着基于指令的编辑模型和多模态大语言模型的发展，各种图像编辑任务变得可行。然而，实现精确且一致的几何图像编辑（如在3D空间中的平移、缩放和旋转）仍然是一个重大挑战。本文提出了BoxCtrl，一个3D感知的视觉提示框架。与仅依赖文本或粗略2D引导的方法不同，我们的方法引入了投影到2D图像上的RGB 3D边界框作为视觉提示。这些边界框的三个正交面用不同的RGB颜色绘制，编码了位置、大小和方向，从而提供了一个紧凑且直观的上下文视觉示例。BoxCtrl的成功关键在于这些精心设计的边界框，它将几何控制与外观控制解耦，使模型能够在潜在空间中学习相同颜色面之间的一致对应关系，从而精确理解几何意图并获得准确的编辑结果。我们引入了一个两阶段的训练范式：监督微调（SFT）和强化学习（RL）。为了应对配对数据稀缺的问题，我们构建了一个大规模的合成数据集用于SFT，赋予模型基本的编辑能力。为了弥合合成与真实领域之间的差距，我们结合了利用无配对真实数据的在线RL阶段。通过评估几何准确性和视觉保真度的奖励函数指导，我们的SFT-RL策略显著提高了几何精度，同时保持了照片级真实感。大量实验表明，BoxCtrl在平移、旋转、缩放和复合编辑任务中达到了最先进的性能。

🔬 方法详解

问题定义：本文旨在解决在3D空间中进行几何图像编辑（如平移、缩放和旋转）时的精确性和一致性问题。现有方法往往依赖于文本或粗略的2D引导，导致编辑结果不够准确。

核心思路：BoxCtrl的核心思路是通过引入RGB 3D边界框作为视觉提示，提供直观的几何信息。这些边界框的设计使得几何控制与外观控制相互独立，从而提高了模型对几何意图的理解能力。

技术框架：BoxCtrl采用两阶段训练范式，首先进行监督微调（SFT），然后进行强化学习（RL）。SFT阶段使用合成数据集进行基本能力训练，RL阶段则利用无配对的真实数据进行进一步优化。

关键创新：BoxCtrl的主要创新在于使用RGB 3D边界框作为视觉提示，这种设计使得几何控制与外观控制解耦，显著提升了模型的几何编辑能力。

关键设计：在训练过程中，构建了大规模合成数据集以解决配对数据稀缺的问题，同时在RL阶段引入了评估几何准确性和视觉保真度的奖励函数，以指导模型优化。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

BoxCtrl在平移、旋转、缩放和复合编辑任务中表现出色，实验结果显示其几何精度显著提高，达到最先进的性能水平。具体而言，BoxCtrl在多个基准测试中超越了现有方法，提升幅度达到XX%（具体数据待补充）。

🎯 应用场景

BoxCtrl的研究成果在多个领域具有潜在应用价值，包括计算机图形学、虚拟现实、增强现实以及游戏开发等。通过提供精确的几何图像编辑能力，该框架能够提升内容创作的效率和质量，推动相关技术的进一步发展。

📄 摘要（原文）

As instruction-based editing models and multimodal large language models advance, diverse image editing tasks have become feasible. However, achieving precise and consistent geometric image editing, such as translating, scaling, and rotating in 3D space, remains a major challenge. In this work, we introduce BoxCtrl, a 3D-aware visual prompting framework. Unlike text-only or coarse 2D-guided approaches, our method introduces informative RGB 3D bounding boxes projected onto 2D images as visual prompts. The three orthogonal faces of each box are painted with distinct RGB colors, simultaneously encoding position, size, and orientation to provide a compact, intuitive in-context visual example. The key to BoxCtrl's success lies in these well-designed bounding boxes, which decouple geometric control from appearance control. This enables the model to learn consistent correspondences between faces of the same color in the latent space, leading to a precise understanding of geometric intentions and accurate editing results. We introduce a two-stage training paradigm: Supervised Fine-Tuning (SFT) followed by Reinforcement Learning (RL). To address paired data scarcity, we construct a large-scale synthetic dataset for SFT, equipping the model with fundamental editing capabilities. To bridge the synthetic-to-real domain gap, we incorporate an online RL stage leveraging unpaired real-world data. Guided by a reward function evaluating geometric accuracy and visual fidelity, our SFT-RL strategy significantly enhances geometric precision while maintaining photorealistic quality. Extensive experiments demonstrate that BoxCtrl achieves state-of-the-art performance across translation, rotation, scaling, and composite editing tasks.