FROMAT: Multiview Material Appearance Transfer via Few-Shot Self-Attention Adaptation

📄 arXiv: 2512.09617v1 📥 PDF

作者: Hubert Kompanowski, Varun Jampani, Aaryaman Vasishta, Binh-Son Hua

分类: cs.CV

发布日期: 2025-12-10

💡 一句话要点

提出FROMAT，通过少样本自注意力适配实现多视角材质外观迁移

🎯 匹配领域: 支柱一：机器人控制 (Robot Control)

关键词: 多视角扩散模型 外观迁移 自注意力机制 少样本学习 三维生成

📋 核心要点

  1. 现有方法难以在多视角扩散模型中精确控制材质、纹理等外观属性，限制了生成内容的多样性。
  2. 利用少量样本，通过自注意力机制将参考图像的外观信息迁移到目标对象的生成过程中。
  3. 实验证明，该方法能够有效实现多视角下材质外观的迁移，提升了生成结果的真实感和可控性。

📝 摘要（中文）

多视角扩散模型已迅速成为内容创作的强大工具，它在不同视角间提供空间一致性，无需显式的几何和外观表示即可实现丰富的视觉真实感。然而，与网格或辐射场相比，现有的多视角扩散模型在外观操作方面存在局限性，尤其是在材质、纹理或风格方面。本文提出了一种轻量级的适配技术，用于多视角扩散模型中的外观迁移。我们的方法学习将输入图像中的对象身份与参考图像中渲染的外观线索相结合，生成反映所需材质、纹理或风格的多视角一致性输出。这允许在生成时显式指定外观参数，同时保留底层对象几何形状和视角连贯性。我们利用三个扩散去噪过程，分别负责生成原始对象、参考图像和目标图像，并执行反向采样，以聚合来自对象和参考图像的一小部分层级自注意力特征，从而影响目标生成。我们的方法仅需少量训练样本即可将外观感知引入预训练的多视角模型。实验表明，我们的方法为具有多样外观的多视角生成提供了一种简单而有效的方式，倡导在实践中采用隐式生成3D表示。

🔬 方法详解

问题定义：现有的多视角扩散模型在外观操作方面存在局限性，难以精确控制生成对象的材质、纹理和风格。这限制了生成内容的多样性和可控性，用户无法方便地指定所需的外观属性。

核心思路：该论文的核心思路是通过学习将输入图像中的对象身份与参考图像中渲染的外观线索相结合，从而生成具有目标外观的多视角一致性图像。通过利用自注意力机制，将参考图像的外观信息迁移到目标对象的生成过程中，实现外观的精确控制。

技术框架：该方法利用三个扩散去噪过程，分别负责生成原始对象、参考图像和目标图像。在反向采样过程中，聚合来自对象和参考图像的一小部分层级自注意力特征，从而影响目标图像的生成。该框架包含一个预训练的多视角扩散模型和一个轻量级的适配模块，用于学习外观迁移。

关键创新：该方法最重要的创新点在于利用自注意力机制实现外观迁移，并仅需少量训练样本即可将外观感知引入预训练的多视角模型。与现有方法相比，该方法能够更精确地控制生成对象的外观，并具有更好的泛化能力。

关键设计：该方法的关键设计包括：1) 选择合适的自注意力层进行特征聚合；2) 设计有效的损失函数，以保证生成图像的视角一致性和外观准确性；3) 使用少量训练样本进行适配，以提高模型的泛化能力。具体的参数设置和网络结构细节在论文中有详细描述，但摘要中未明确提及。

📊 实验亮点

该方法仅需少量训练样本即可实现多视角下的材质外观迁移，显著提升了生成结果的真实感和可控性。实验结果表明，该方法能够有效地将参考图像的外观信息迁移到目标对象上，并保持视角一致性。具体的性能数据和对比基线在论文中进行了详细展示，但摘要中未明确提及。

🎯 应用场景

该研究成果可应用于虚拟现实、游戏开发、电商展示等领域。用户可以通过指定参考图像，将所需材质、纹理或风格迁移到目标对象上，快速生成具有多样外观的多视角图像，提升用户体验和内容创作效率。未来，该技术有望进一步扩展到视频生成和三维模型编辑等领域。

📄 摘要（原文）

Multiview diffusion models have rapidly emerged as a powerful tool for content creation with spatial consistency across viewpoints, offering rich visual realism without requiring explicit geometry and appearance representation. However, compared to meshes or radiance fields, existing multiview diffusion models offer limited appearance manipulation, particularly in terms of material, texture, or style. In this paper, we present a lightweight adaptation technique for appearance transfer in multiview diffusion models. Our method learns to combine object identity from an input image with appearance cues rendered in a separate reference image, producing multi-view-consistent output that reflects the desired materials, textures, or styles. This allows explicit specification of appearance parameters at generation time while preserving the underlying object geometry and view coherence. We leverage three diffusion denoising processes responsible for generating the original object, the reference, and the target images, and perform reverse sampling to aggregate a small subset of layer-wise self-attention features from the object and the reference to influence the target generation. Our method requires only a few training examples to introduce appearance awareness to pretrained multiview models. The experiments show that our method provides a simple yet effective way toward multiview generation with diverse appearance, advocating the adoption of implicit generative 3D representations in practice.