Sculpting NeRF Geometry: Human-Preference Fine-Tuning of a 3D-Aware Face GAN

📄 arXiv: 2606.27305v1 📥 PDF

作者: Archer Moore, Mingming Gong, Liam Hodgkinson

分类: cs.CV

发布日期: 2026-06-25

💡 一句话要点

提出基于人类偏好的3D面部GAN微调方法以优化NeRF几何结构

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture) 支柱三：空间感知与语义 (Perception & Semantics)

关键词: 3D生成 人类反馈 强化学习 面部GAN 神经辐射场 几何优化 计算机视觉

📋 核心要点

  1. 现有的3D生成方法大多依赖显式表面表示，存在对表面监督数据的高度依赖和转换复杂性。
  2. 本文提出了一种新方法，通过直接从辐射场密度值中微调预训练的3D生成模型，简化了生成过程。
  3. 实验结果表明，微调后的生成器在74.4%的成对比较中优于用户偏好，显示出显著的几何结构改善。

📝 摘要（中文）

基于人类反馈的强化学习（RLHF）在3D生成领域已得到广泛应用，但大多数现有方法依赖于显式表面表示，通常通过将辐射场转换为网格并在表面监督数据上进行训练。本文提出直接从学习的辐射场密度（σ）值中微调预训练的3D生成模型，无需外部网格或形状先验。该奖励模型无需预训练，能够在少量偏好样本上轻松训练，并显著改善3D几何结构。通过在无条件的3D面部GAN（EG3D）上工作，奖励模型直接读取神经辐射场的连续3D密度场，提供仅几何的学习信号，且不需要文本条件、网格提取或多视图渲染。密度一致性约束保持2D外观的定性相似性，同时几何形状被重塑，经过微调的生成器在74.4%的成对比较中产生用户偏好的面部几何结构。

🔬 方法详解

问题定义：本文旨在解决现有3D生成方法对显式表面表示的依赖，尤其是在转换辐射场为网格时的复杂性和对表面监督数据的需求。

核心思路：提出直接从学习的辐射场密度（σ）值中微调预训练的3D生成模型，利用人类反馈作为奖励信号，避免了传统方法的复杂性。

技术框架：整体架构包括一个无条件的3D面部GAN（EG3D），通过读取神经辐射场的3D密度场来生成面部几何，奖励模型直接与生成器相连，形成闭环反馈。

关键创新：最重要的创新在于无需外部网格或形状先验，直接利用辐射场密度进行微调，这与现有方法的本质区别在于简化了生成过程。

关键设计：设计中包括密度一致性约束，以保持2D外观的相似性，并在损失函数中引入了几何学习信号，确保生成的几何结构符合用户偏好。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果显示，经过微调的生成器在74.4%的成对比较中产生了用户偏好的面部几何结构，且FID-50k从4.09上升至6.66，表明几何结构的显著改善。

🎯 应用场景

该研究的潜在应用领域包括虚拟现实、游戏开发和计算机动画等，能够为3D面部生成提供更高质量和用户偏好的解决方案。未来可能推动个性化虚拟角色的创建和人机交互的改进。

📄 摘要（原文）

Reinforcement learning from human feedback (RLHF) for 3D generation is now established across a number of works, but most existing pipelines optimise explicit surface representations, often by converting radiance fields into meshes and training heavily on surface-supervised data. We instead fine-tune a pretrained 3D-aware generative model directly from a learned reward over radiance-field density ($σ$) values, with no externally supplied mesh or shape prior. The reward model requires no pretraining, trains easily on a small set of preference samples, and yields robust improvement in 3D geometry. Working on an unconditional 3D-aware face GAN (EG3D), our reward reads the continuous 3D density field of the neural radiance field (NeRF) directly and supplies a geometry-only learning signal, requiring neither text conditioning, mesh extraction, nor multi-view rendering. A density-consistency constraint keeps the 2D appearance qualitatively similar while the geometry is reshaped, at a measurable but bounded distributional cost (FID-50k rises from 4.09 to 6.66): the fine-tuned generator, trained from the preferences of a single annotator as a proof of concept, produces face geometries preferred by users in 74.4% of pairwise comparisons.