Scene Depth Estimation from Traditional Oriental Landscape Paintings

📄 arXiv: 2403.03408v2 📥 PDF

作者: Sungho Kang, YeongHyeon Park, Hyunkyu Park, Juneho Yi

分类: cs.CV

发布日期: 2024-03-06 (更新: 2024-03-07)

💡 一句话要点

提出双阶段图像转换框架以解决东方山水画深度估计问题

🎯 匹配领域: 支柱三：空间感知与语义 (Perception & Semantics)

关键词: 深度估计 图像转换 CycleGAN CLIP 视觉障碍 艺术体验 无监督学习

📋 核心要点

  1. 现有方法在测量东方山水画的深度时面临挑战，主要由于其独特的表现手法和保存状况不佳。
  2. 本文提出的双阶段图像转换框架结合了CycleGAN和CLIP，能够有效地将东方山水画转换为伪真实场景图像，并进行深度估计。
  3. 实验结果表明，所提方法在预测真实场景图像方面表现良好，为视觉障碍人士提供了新的艺术体验方式。

📝 摘要（中文）

从绘画中估计场景深度可以简化3D雕塑创作过程，使视觉障碍人士能够通过触觉欣赏绘画。然而，由于东方山水画独特的深度表现方式和保存状况不佳，深度测量极具挑战性。为了解决这一问题，本文提出了一种新颖的框架，采用双阶段图像到图像转换方法，并在前端使用基于CLIP的图像匹配，以预测与给定东方山水画图像最匹配的真实场景图像。首先，CycleGAN将东方山水画图像转换为伪真实场景图像。然后，利用预训练的深度估计模型对生成的真实场景图像进行深度测量。实验结果表明，该方法能够有效预测与东方山水画图像相对应的真实场景图像。这是首次对东方山水画图像进行深度测量的研究，潜在地帮助视觉障碍人士以多样化的方式体验绘画。我们将发布代码和数据集。

🔬 方法详解

问题定义：本文旨在解决从东方山水画中估计场景深度的问题。现有方法在处理此类艺术作品时，由于其独特的表现手法和保存状况不佳，导致深度测量困难。

核心思路：论文提出的双阶段图像转换框架，首先通过CycleGAN将东方山水画转换为伪真实场景图像，然后利用预训练的深度估计模型进行深度测量。该设计旨在通过图像匹配和转换来克服传统方法的局限性。

技术框架：整体流程包括两个主要阶段：第一阶段使用CycleGAN将东方山水画图像转换为伪真实场景图像，第二阶段将伪真实场景图像与原始画作一起输入到DiffuseIT中，生成最终的真实场景图像。

关键创新：本研究的创新点在于首次将CLIP与CycleGAN结合，进行无监督的图像匹配和转换，从而实现对东方山水画的深度测量。这一方法与传统的深度估计技术有本质区别。

关键设计：在训练CycleGAN时，采用了CLIP进行语义匹配，确保生成的伪真实场景图像与原始画作在语义上相符。此外，使用MiDaS等预训练的深度估计模型进行深度测量，提升了深度预测的准确性。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果显示，所提方法在预测真实场景图像方面表现优异，能够有效地与传统方法进行对比。具体性能数据尚未提供，但实验表明该方法在深度估计任务中具有显著提升，尤其是在处理东方山水画时。

🎯 应用场景

该研究的潜在应用领域包括艺术创作、辅助技术和教育等。通过为视觉障碍人士提供新的艺术体验方式，能够促进他们对文化艺术的理解与欣赏。此外，该方法也可应用于其他类型的艺术作品深度估计，拓展其应用范围。

📄 摘要（原文）

Scene depth estimation from paintings can streamline the process of 3D sculpture creation so that visually impaired people appreciate the paintings with tactile sense. However, measuring depth of oriental landscape painting images is extremely challenging due to its unique method of depicting depth and poor preservation. To address the problem of scene depth estimation from oriental landscape painting images, we propose a novel framework that consists of two-step Image-to-Image translation method with CLIP-based image matching at the front end to predict the real scene image that best matches with the given oriental landscape painting image. Then, we employ a pre-trained SOTA depth estimation model for the generated real scene image. In the first step, CycleGAN converts an oriental landscape painting image into a pseudo-real scene image. We utilize CLIP to semantically match landscape photo images with an oriental landscape painting image for training CycleGAN in an unsupervised manner. Then, the pseudo-real scene image and oriental landscape painting image are fed into DiffuseIT to predict a final real scene image in the second step. Finally, we measure depth of the generated real scene image using a pre-trained depth estimation model such as MiDaS. Experimental results show that our approach performs well enough to predict real scene images corresponding to oriental landscape painting images. To the best of our knowledge, this is the first study to measure the depth of oriental landscape painting images. Our research potentially assists visually impaired people in experiencing paintings in diverse ways. We will release our code and resulting dataset.