User-in-the-Loop View Sampling with Error Peaking Visualization

📄 arXiv: 2506.21009v1 📥 PDF

作者: Ayaka Yasunaga, Hideo Saito, Shohei Mori

分类: cs.CV

发布日期: 2025-06-26

备注: Accepted at IEEE ICIP 2025, Project Page: https://mediated-reality.github.io/projects/yasunaga_icip25/

💡 一句话要点

提出基于用户反馈的视图采样方法以解决AR数据收集挑战

🎯 匹配领域: 支柱三：空间感知与语义 (Perception & Semantics)

关键词: 增强现实 视图合成 数据收集 光场重建 用户体验 错误可视化 3D注释

📋 核心要点

  1. 现有的AR数据收集方法依赖用户进行3D注释，导致心理负担大且限制了捕获区域。
  2. 本文提出通过局部重建光场和错误可视化来简化数据收集过程，降低用户的操作难度。
  3. 实验结果显示，使用错误峰值可视化的方法在样本数量减少的情况下，仍能获得满意的合成效果。

📝 摘要（中文）

增强现实（AR）为新视图合成提供了可视化缺失视图样本的方法。现有方法要求用户通过对齐AR显示来拍摄图像，导致数据收集任务心理负担较重，并限制了捕获区域。为了解放用户的3D注释和有限的场景探索，本文提出使用局部重建的光场并可视化需要通过插入新视图来消除的错误。实验结果表明，错误峰值可视化方法对用户的干扰较小，减少了最终结果的失望感，并在移动视图合成系统中以更少的视图样本获得了令人满意的效果。我们还展示了该方法对较大场景的辐射场重建的贡献，例如3D高斯喷溅。

🔬 方法详解

问题定义：本文旨在解决现有AR数据收集方法的心理负担和捕获区域限制问题。现有方法要求用户进行复杂的3D注释，导致用户体验不佳。

核心思路：论文提出通过局部重建的光场和错误可视化来简化数据收集过程，用户只需关注需要插入新视图的位置，从而降低操作难度。

技术框架：整体架构包括局部光场重建模块和错误可视化模块。首先重建局部光场，然后通过可视化技术展示需要插入新视图的位置，指导用户进行拍摄。

关键创新：最重要的技术创新在于错误峰值可视化方法，它显著减少了用户的干扰和失望感，与传统方法相比，用户体验得到了显著提升。

关键设计：在技术细节上，本文设计了特定的损失函数以优化光场重建效果，并采用了适应性视图选择策略，以确保用户在拍摄时能够获得最佳的视图样本。

📊 实验亮点

实验结果表明，使用错误峰值可视化的方法在样本数量减少的情况下，用户满意度显著提高。与传统方法相比，最终合成效果的失望感降低，用户在较小的捕获区域内仍能获得高质量的视图合成。

🎯 应用场景

该研究在增强现实、虚拟现实和计算机视觉等领域具有广泛的应用潜力。通过简化数据收集过程，能够提高用户体验，促进更大规模的场景重建和合成，未来可能在游戏、教育和医疗等多个行业中发挥重要作用。

📄 摘要（原文）

Augmented reality (AR) provides ways to visualize missing view samples for novel view synthesis. Existing approaches present 3D annotations for new view samples and task users with taking images by aligning the AR display. This data collection task is known to be mentally demanding and limits capture areas to pre-defined small areas due to the ideal but restrictive underlying sampling theory. To free users from 3D annotations and limited scene exploration, we propose using locally reconstructed light fields and visualizing errors to be removed by inserting new views. Our results show that the error-peaking visualization is less invasive, reduces disappointment in final results, and is satisfactory with fewer view samples in our mobile view synthesis system. We also show that our approach can contribute to recent radiance field reconstruction for larger scenes, such as 3D Gaussian splatting.