Lasagna: Layered Score Distillation for Disentangled Object Relighting
作者: Dina Bashkirova, Arijit Ray, Rupayan Mallick, Sarah Adel Bargal, Jianming Zhang, Ranjay Krishna, Kate Saenko
分类: cs.CV
发布日期: 2023-11-30
💡 一句话要点
提出Lasagna以解决图像重光照控制问题
🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture)
关键词: 图像重光照 分数蒸馏 文本引导 合成数据集 扩散模型 图像编辑 计算机视觉
📋 核心要点
- 现有的图像重光照方法在保持图像其他特征一致性方面存在显著不足，难以满足专业创作者的需求。
- Lasagna通过分数蒸馏采样学习光照先验，结合合成数据集ReLiT，实现了直观的文本引导重光照控制。
- 实验结果表明，Lasagna在真实图像重光照任务中表现优异，超越了现有方法，并在91%以上的案例中获得人类偏好。
📝 摘要（中文）
专业艺术家、摄影师等视觉内容创作者使用物体重光照来实现所需的照片效果。然而，现有的手动工具学习曲线陡峭且难以掌握。尽管生成编辑方法在某种程度上实现了图像编辑，但重光照仍然超出当前能力，现有方法在编辑后难以保持图像的颜色、形状和纹理一致性。我们提出Lasagna，一种支持直观文本引导的重光照控制方法。Lasagna通过使用分数蒸馏采样学习光照先验，该先验来自于在合成重光照数据上微调的扩散模型。我们还策划了一个新的合成数据集ReLiT，包含从多个光源位置重新照明的3D物体资产。尽管训练于合成图像，定量结果显示Lasagna能够在保持输入图像其他方面一致的情况下重光照真实世界图像，超越了现有的文本引导图像编辑方法。Lasagna在自然图像和数字艺术作品上实现了逼真且可控的结果，并在91%以上的案例中被人类偏好。最后，我们展示了学习目标的多样性，通过扩展其应用于上色，另一种图像编辑形式。
🔬 方法详解
问题定义：本论文旨在解决现有图像重光照方法在编辑后难以保持图像其他特征一致性的问题。现有方法在处理复杂场景时，往往无法有效地控制光照变化，导致图像质量下降。
核心思路：Lasagna的核心思路是通过分数蒸馏采样来学习光照先验，从而实现对图像重光照的直观控制。该方法利用合成数据集进行训练，使得模型能够在保持图像其他特征一致的情况下进行光照调整。
技术框架：Lasagna的整体架构包括数据集构建、模型训练和重光照生成三个主要模块。首先，策划合成数据集ReLiT，包含多种光源位置的3D物体。然后，使用微调的扩散模型进行光照先验的学习，最后实现基于文本的重光照生成。
关键创新：Lasagna的主要创新在于引入了分数蒸馏采样技术，使得模型能够有效地从合成数据中学习光照先验，并在真实图像上实现高质量的重光照效果。这一方法显著提升了图像编辑的灵活性和可控性。
关键设计：在模型设计中，Lasagna采用了特定的损失函数以确保重光照后的图像在颜色、形状和纹理等方面的一致性。此外，网络结构经过优化，以提高模型在处理复杂场景时的表现。具体的参数设置和网络结构细节在论文中有详细描述。
🖼️ 关键图片
📊 实验亮点
实验结果显示，Lasagna在真实图像重光照任务中表现优异，超越了现有的文本引导图像编辑方法。具体而言，Lasagna在91%以上的案例中被人类偏好，且在保持图像其他特征一致性方面显著提升，展示了其在自然图像和数字艺术作品中的强大能力。
🎯 应用场景
Lasagna的研究成果在多个领域具有广泛的应用潜力，包括专业摄影、影视制作、游戏设计等。通过提供直观的重光照控制，创作者能够更轻松地实现他们的艺术效果，提升创作效率。此外，该方法的扩展性也使其在其他图像编辑任务中具有应用价值，如上色等。
📄 摘要（原文）
Professional artists, photographers, and other visual content creators use object relighting to establish their photo's desired effect. Unfortunately, manual tools that allow relighting have a steep learning curve and are difficult to master. Although generative editing methods now enable some forms of image editing, relighting is still beyond today's capabilities; existing methods struggle to keep other aspects of the image -- colors, shapes, and textures -- consistent after the edit. We propose Lasagna, a method that enables intuitive text-guided relighting control. Lasagna learns a lighting prior by using score distillation sampling to distill the prior of a diffusion model, which has been finetuned on synthetic relighting data. To train Lasagna, we curate a new synthetic dataset ReLiT, which contains 3D object assets re-lit from multiple light source locations. Despite training on synthetic images, quantitative results show that Lasagna relights real-world images while preserving other aspects of the input image, outperforming state-of-the-art text-guided image editing methods. Lasagna enables realistic and controlled results on natural images and digital art pieces and is preferred by humans over other methods in over 91% of cases. Finally, we demonstrate the versatility of our learning objective by extending it to allow colorization, another form of image editing.