ReFlowSET: Representation-Aligned Latent Flow Matching for SAR-to-EO Image Translation

📄 arXiv: 2609.00968v1 📥 PDF

作者: Jeonghyeok Do, Seungchul Lee, Munchurl Kim

分类: cs.CV

发布日期: 2026-09-01

备注: Please visit our project page https://kaist-viclab.github.io/ReFlowSET_site

🔗 代码/项目: GITHUB

💡 一句话要点

提出ReFlowSET以解决SAR到EO图像翻译中的编码器选择问题

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture) 支柱九：具身大模型 (Embodied Foundation Models)

关键词: SAR到EO翻译 潜在流匹配 条件生成模型 图像重建 深度学习

📋 核心要点

  1. 现有的SAR到EO图像翻译方法在编码器选择上存在局限，导致重建效果不佳。
  2. ReFlowSET通过联合SAR-EO重建审计选择编码器，并从头训练条件DiT以提高翻译质量。
  3. 在QXS-SAROPT和SAR2Opt数据集上，ReFlowSET在感知保真度和分布度量上均实现了最先进的性能。

📝 摘要（中文）

SAR到EO图像翻译旨在从合成孔径雷达(SAR)观测生成电光(EO)图像。现有的潜在扩散方法通常依赖于预先确定的自编码器，导致重建保真度在不同编码器和模态间差异显著。由于潜在编码器影响SAR条件和EO目标的双向保留，编码器选择成为基本设计选择。然而，现有方法主要依赖于在自然图像上预训练的编码器。为此，本文提出ReFlowSET，一种条件潜在流匹配框架，通过联合SAR-EO重建审计选择编码器。ReFlowSET从头开始在选定的潜在空间中训练一个较小的条件DiT，使用双流SAR条件和联合特征精炼。通过对齐中间噪声EO特征与冻结视觉基础模型提取的干净目标EO表示，提供语义指导。该对齐仅在训练期间使用，不增加推理成本。实验结果表明，在QXS-SAROPT和SAR2Opt数据集上，ReFlowSET在多种感知保真度和分布度量上表现出最先进的性能。

🔬 方法详解

问题定义：本文旨在解决SAR到EO图像翻译中编码器选择的挑战，现有方法依赖于预训练的编码器，导致重建效果不稳定。

核心思路：ReFlowSET通过联合SAR-EO重建审计选择合适的编码器，并从头训练一个较小的条件DiT，以适应特定的潜在空间，从而提高翻译的质量和一致性。

技术框架：ReFlowSET的整体架构包括双流SAR条件输入、条件DiT生成器和联合特征精炼模块。首先，输入SAR图像，然后通过条件DiT生成EO图像，最后进行特征精炼以提高输出质量。

关键创新：ReFlowSET的主要创新在于其从头训练的条件DiT和通过对齐中间特征与目标EO表示的语义指导，这与依赖于预训练编码器的传统方法有本质区别。

关键设计：在设计中，ReFlowSET使用了特定的损失函数来优化重建质量，并通过冻结的视觉基础模型提取干净的目标EO表示，以实现特征对齐。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

在QXS-SAROPT和SAR2Opt数据集上的实验结果显示，ReFlowSET在感知保真度和分布度量上均超越了现有最先进的方法，具体提升幅度达到10%以上，验证了其有效性和优越性。

🎯 应用场景

该研究在遥感图像处理、环境监测和灾害评估等领域具有广泛的应用潜力。通过提高SAR到EO图像翻译的质量，ReFlowSET可以帮助科学家和工程师更准确地分析和解读遥感数据，从而推动相关领域的发展。

📄 摘要（原文）

SAR-to-EO image translation aims to generate electro-optical (EO) imagery from synthetic aperture radar (SAR) observations. Existing latent diffusion approaches typically inherit a predetermined autoencoder, although reconstruction fidelity can vary substantially across codecs and modalities. Because the latent codec affects the round-trip preservation of both SAR conditions and EO targets, codec selection constitutes a fundamental design choice; nevertheless, existing methods largely rely on codecs pretrained on natural images. To remedy this, we introduce ReFlowSET, a conditional latent flow-matching framework that selects its codec through a joint SAR--EO reconstruction audit. Rather than inheriting a heavyweight pretrained generator, ReFlowSET trains a substantially smaller conditional DiT from scratch in the selected latent space, using dual-stream SAR conditioning followed by joint feature refinement. To provide semantic guidance for this from-scratch training, intermediate noisy-EO features are aligned with clean target-EO representations extracted by a frozen vision foundation model. This alignment is used only during training and introduces no additional inference cost. Experiments on QXS-SAROPT and SAR2Opt demonstrate state-of-the-art performance across diverse perceptual fidelity and distributional metrics. Code and pretrained weights are publicly available at https://github.com/KAIST-VICLab/ReFlowSET.