Web-Based Dynamic Paintings: Real-Time Interactive Artworks in Web Using a 2.5D Pipeline
作者: Ergun Akleman, Youyou wang, Yinan Xiong, Anusha Shanker, Fermi Perumal, Ozgur Gonen, Motahareh Fard
分类: cs.GR, cs.HC
发布日期: 2023-11-26
备注: 22 pages
期刊: ISEA 1 (2022) 1-12
💡 一句话要点
提出2.5D管道以实现Web上的实时互动动态绘画
🎯 匹配领域: 支柱四：生成式动作 (Generative Motion)
关键词: 动态绘画 2.5D管道 实时交互 全局光照 艺术控制 Web技术 图像处理
📋 核心要点
- 现有的动态绘画方法缺乏实时交互性和丰富的光照效果，限制了艺术创作的表现力。
- 论文提出了一种2.5D管道，通过处理手绘图像实现实时动态绘画，支持多种光照效果。
- 实验结果表明，该系统能够生成高质量的动态艺术作品，且用户可以通过简单的参数调整实现艺术效果的控制。
📝 摘要（中文）
本研究提出了一种2.5D管道方法，用于在Web上实时交互地创建动态绘画。通过这种方法，任何现有的简单绘画（如肖像）都可以转变为互动的动态艺术作品。我们的系统通过处理图像提供了大多数全局光照效果，如反射、折射、阴影和亚表面散射。场景仅由一组图像定义，包括形状图像、两个漫反射图像、背景图像、前景图像和透明度图像。该框架主要使用手绘图像，提供了令人信服的绘画风格全局光照效果，并允许艺术控制的参数设置。我们还引入了艺术导向的Fresnel函数和变形方程，提供了物理上合理的反射和折射合成。
🔬 方法详解
问题定义：本研究旨在解决现有动态绘画方法在实时交互性和光照效果表现上的不足。现有方法通常无法提供丰富的视觉效果和用户交互体验。
核心思路：论文提出的2.5D管道方法通过使用手绘图像生成动态艺术作品，允许用户在Web上实时交互。该方法通过图像处理技术实现全局光照效果，增强了艺术创作的表现力。
技术框架：整体架构包括图像输入模块（形状图像、漫反射图像、背景图像、前景图像和透明度图像），光照计算模块（实现反射、折射等效果），以及用户交互模块（提供艺术控制参数）。
关键创新：最重要的技术创新在于引入了艺术导向的Fresnel函数和变形方程，这些新方法提供了物理上合理的反射和折射合成，同时允许艺术家进行创意控制，区别于传统方法。
关键设计：系统中使用的透明度图像定义了透明和反射区域，手绘的漫反射图像通过光照信息进行插值处理，此外，参数设置如分段线性Fresnel函数用于控制反射和折射的比例。
🖼️ 关键图片
📊 实验亮点
实验结果显示，该系统能够在Web环境中实时生成高质量的动态绘画，支持多种光照效果。与传统方法相比，用户在艺术效果控制上的灵活性显著提升，具体性能数据尚未提供。
🎯 应用场景
该研究的潜在应用领域包括在线艺术创作平台、教育工具以及游戏开发等。通过实时动态绘画，艺术家和设计师可以更灵活地表达创意，用户也能享受更具沉浸感的互动体验。未来，该技术可能推动数字艺术的进一步发展，促进艺术与技术的融合。
📄 摘要（原文）
In this work, we present a 2.5D pipeline approach to creating dynamic paintings that can be re-rendered interactively in real-time on the Web. Using this 2.5D approach, any existing simple painting such as portraits can be turned into an interactive dynamic web-based artwork. Our interactive system provides most global illumination effects such as reflection, refraction, shadow, and subsurface scattering by processing images. In our system, the scene is defined only by a set of images. These include (1) a shape image, (2) two diffuse images, (3) a background image, (4) one foreground image, and (5) one transparency image. A shape image is either a normal map or a height. Two diffuse images are usually hand-painted. They are interpolated using illumination information. The transparency image is used to define the transparent and reflective regions that can reflect the foreground image and refract the background image, both of which are also hand-drawn. This framework, which mainly uses hand-drawn images, provides qualitatively convincing painterly global illumination effects such as reflection and refraction. We also include parameters to provide additional artistic controls. For instance, using our piecewise linear Fresnel function, it is possible to control the ratio of reflection and refraction. This system is the result of a long line of research contributions. On the other hand, the art-directed Fresnel function that provides physically plausible compositing of reflection and refraction with artistic control is completely new. Art-directed warping equations that provide qualitatively convincing refraction and reflection effects with linearized artistic control are also new. You can try our web-based system for interactive dynamic real-time paintings at http://mock3d.tamu.edu/.