SpheRoPE: Zero-Shot Optimization-Free 360 Panorama Generation with Spherical RoPE
作者: Or Hirschorn, Aaron Olender, Eli Alshan, Ianir Ideses, Lior Fritz, Sagie Benaim
分类: cs.CV
发布日期: 2026-06-30
🔗 代码/项目: PROJECT_PAGE
💡 一句话要点
提出SpheRoPE以解决360全景图生成中的优化与训练问题
🎯 匹配领域: 支柱四：生成式动作 (Generative Motion)
关键词: 360全景生成 无训练生成 扩散变换器 球面RoPE 语义引导
📋 核心要点
- 现有的360全景图生成方法通常需要昂贵的微调或多步优化，限制了其通用性和推理效率。
- 本文提出了一种零-shot和无优化的方法，通过引入球面RoPE来解决等距投影的拓扑约束，避免了重新训练。
- 实验表明，使用Flux.1、Flux.2和LTX-Video等骨干网络进行文本到全景生成时，性能与基线相比具有竞争力，且无需训练。
📝 摘要（中文）
我们提出了一种零-shot、无训练和无优化的框架，通过直接将球面先验注入预训练的扩散变换器，生成360全景图像和视频。现有方法通常依赖于在稀缺全景数据上进行昂贵的微调，或利用多步优化导致推理延迟。我们观察到现代生成模型在大规模训练中自然展现了一些全景先验，但这些能力不足以满足等距投影（ERP）所施加的严格拓扑约束。我们的方法在推理时解决了这些约束，采用球面RoPE替代标准的旋转位置嵌入，低频通道重新参数化为3D笛卡尔坐标以原生编码球面流形，高频通道则和谐量化以强制精确周期性。结合补充的语义失真无分类器引导（CFG），我们避免了重新训练，继承了最先进模型的创造性广度。
🔬 方法详解
问题定义：本论文旨在解决360全景图生成中的拓扑约束问题，现有方法在处理等距投影时存在不足，导致生成效果不佳。
核心思路：我们提出的SpheRoPE方法通过在推理时引入球面RoPE，直接在预训练模型中解决这些约束，避免了昂贵的训练和优化过程。
技术框架：该方法的整体架构包括三个主要模块：预训练的扩散变换器、球面RoPE嵌入和语义失真无分类器引导（CFG）。在推理阶段，模型利用球面RoPE进行位置编码，同时通过CFG引导生成过程。
关键创新：最重要的创新在于球面RoPE的引入，它通过重新参数化低频通道和和谐量化高频通道，确保生成图像满足等距投影的拓扑要求。这一设计与传统方法的多步优化和微调形成鲜明对比。
关键设计：在参数设置上，低频通道被重新定义为3D笛卡尔坐标，而高频通道则经过和谐量化以确保周期性。此外，CFG的设计使得生成过程能够更好地控制几何形状，提升生成质量。
🖼️ 关键图片
📊 实验亮点
实验结果显示，使用SpheRoPE方法在文本到全景生成任务中，性能与现有基线相当，且在推理速度上显著提升，证明了其在无训练条件下的有效性和高效性。
🎯 应用场景
该研究的潜在应用领域包括虚拟现实、游戏开发和全景视频制作等。通过提供一种高效的生成方法，SpheRoPE能够在不需要大量训练数据的情况下，快速生成高质量的360全景图像，具有显著的实际价值和未来影响。
📄 摘要（原文）
We present a zero-shot, training-free and optimization-free framework for generating 360 panoramic images and videos by directly injecting spherical priors into pre-trained diffusion transformers. Existing methods either rely on costly fine-tuning on scarce panoramic data that limits generalization, or leverage multi-step optimization that incurs prohibitive inference latency. We observe that contemporary generative models natively exhibit some panoramic priors from large-scale training. However, these emergent capabilities are insufficient, as the models fundamentally fail to satisfy the rigorous topological constraints imposed by equirectangular projection (ERP). We introduce a zero-shot and optimization-free approach that resolves these constraints at inference time. Spherical RoPE replaces standard rotary position embeddings: low-frequency channels are re-parameterized as 3D Cartesian coordinates to natively encode the spherical manifold, while high-frequency channels are harmonically quantized to enforce exact periodicity. Coupled with complementary Semantic Distortion classifier-free guidance (CFG) that explicitly steers geometry, we avoid retraining and inherit the full creative breadth of state-of-the-art models. Our approach generalizes across diverse backbones and 360 generation modalities. We demonstrate this across text-to-panorama using Flux.1, Flux.2, and LTX-Video backbones, achieving competitive performance against baselines, all while remaining training-free. Project page: https://orhir.github.io/SpheRoPE