Reparametrizing 3D Gaussian Splatting for Real-Time Palette-based Color and Luminance Editing
作者: Cheng-Kang Ted Chao, Yotam Gingold
分类: cs.GR
发布日期: 2026-09-03
备注: 11 pages, 9 figures
期刊: SIGGRAPH Asia 2026 Conference Papers
💡 一句话要点
提出实时3D高斯点云重参数化以实现独立色彩与亮度编辑
🎯 匹配领域: 支柱三：空间感知与语义 (Perception & Semantics)
关键词: 3D高斯点云 色彩编辑 亮度调整 实时交互 图像处理 调色板管理 视角依赖
📋 核心要点
- 现有的3D高斯点云编辑方法在色彩和亮度控制上缺乏独立性，导致编辑效果不理想。
- 本文提出通过重新参数化预训练的3D高斯点云，结合视角依赖的调色板权重，实现实时的色彩和亮度编辑。
- 实验结果表明，所提方法在编辑速度和效果上均优于传统的调色板基础3D高斯点云方法，能够实现更精细的控制。
📝 摘要（中文）
专业的色彩编辑需要对色调、饱和度和亮度进行精确控制，理想情况下应通过独立的控制方式实现。本文提出了一种实时交互式的3D高斯点云色彩编辑框架，支持基于调色板的重新上色、色彩感知的亮度调整以及像素级的色彩约束。我们通过重新参数化预训练的3D高斯点云的球面谐波，编码视角依赖的调色板权重，并通过基于图像空间稀疏性的损失函数同时求解权重和调色板颜色。亮度编辑通过沿无色轴的每像素权重偏移实现，显示出与每像素调色板感知亮度编辑的等效性。该方法解决了先前原始空间方法的核心限制，避免了不必要的编辑扩散。我们的编辑过程在数十毫秒内完成，展示了比以往方法更稀疏和局部的编辑能力。
🔬 方法详解
问题定义：本文旨在解决现有3D高斯点云编辑方法在色彩和亮度控制上的不足，尤其是缺乏独立控制导致的编辑效果不理想的问题。
核心思路：通过重新参数化预训练的3D高斯点云的球面谐波，编码视角依赖的调色板权重，从而实现实时的色彩和亮度编辑。该设计允许在不重新训练模型的情况下，灵活调整颜色和亮度。
技术框架：整体架构包括调色板权重的编码、图像空间稀疏性损失的计算、以及通过迭代加权最小二乘法和阻尼块坐标下降法进行的优化过程。主要模块包括调色板管理、亮度调整和实时反馈机制。
关键创新：最重要的技术创新在于提出了一种视空间的编辑方法，避免了传统方法中因α混合导致的稀疏性破坏，从而实现了更精确的局部编辑。
关键设计：在损失函数中引入了基于图像空间的稀疏性约束，同时设计了调色板颜色和权重的联合优化策略，以确保编辑效果的视角一致性。
🖼️ 关键图片
📊 实验亮点
实验结果显示，所提方法在编辑速度上可在数十毫秒内完成，同时实现了比以往方法更稀疏和局部的编辑效果，提升幅度显著，能够独立控制每个调色板颜色的亮度。
🎯 应用场景
该研究的潜在应用领域包括影视后期制作、游戏开发以及虚拟现实中的实时图像处理。通过提供更精细的色彩和亮度控制，能够显著提升视觉效果和用户体验，具有广泛的实际价值和未来影响。
📄 摘要（原文）
Professional color editing requires precise control over both color (hue and saturation) and lightness, ideally through separate, independent controls. We present a real-time interactive color editing framework for 3D Gaussian Splatting that supports palette-based recoloring, per-palette tone curves for color-aware luminance adjustment, and pixel-level color constraints. Rather than training a new representation from scratch, we reparameterize the spherical harmonics of a pretrained vanilla 3DGS to encode view-dependent palette weights. We simultaneously solve for weights and palette colors via a loss based on image-space sparsity. Luminance editing is realized as a per-pixel weight shift along the achromatic axis, which we show is equivalent to a per-pixel palette-aware luminance edit. This view-space formulation addresses a core limitation of prior primitive-space methods, where alpha-blending breaks per-Gaussian sparsity and causes edits to bleed into unintended regions. Our edits run in tens of milliseconds via an iteratively reweighted least squares and damped block-coordinate descent that couples tone curves and palette shifts under view-space sparsity. Our representation can be efficiently baked back into a vanilla 3DGS, preserving compatibility with standard viewers. We demonstrate sparser, more localized edits than prior palette-based 3DGS methods, while enabling independent luminance control per palette color and view-consistent pixel-level constraints, capabilities previously unavailable for 3DGS.