BenthicFlow: Generating Extensible Underwater Environments via Flow Matching
作者: Joaquín Figueira, Camile Lendering, Manfred Gonzalez-Hernandez, Giacomo D'Amicantonio, Erkut Akdag, Egor Bondarev
分类: cs.CV
发布日期: 2026-08-24
备注: Accepted to ECCV 2026 in the 2nd Workshop on Marine Vision
🔗 代码/项目: GITHUB
💡 一句话要点
提出BenthicFlow以解决水下环境3D场景理解问题
🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture) 支柱三：空间感知与语义 (Perception & Semantics)
关键词: 水下环境 3D场景理解 条件流匹配 生成模型 RGBD马赛克 生态监测 海洋探测
📋 核心要点
- 现有方法在水下环境中生成3D场景时，面临高质量数据不足和模型泛化能力差的挑战。
- BenthicFlow通过一个条件流匹配模型联合生成纹理和深度图，避免了后期拼接的复杂性。
- 实验结果显示，BenthicFlow能够在不同地点生成一致且大规模的3D场景，保持特定外观特征。
📝 摘要（中文）
水下环境中的计算机视觉应用面临高质量3D数据缺乏和表面训练模型无法泛化的问题。为了解决这一挑战，BenthicFlow提出了一种基于条件流匹配的统一框架，能够同时生成对齐的纹理和深度图。通过MultiDiffusion启发的采样过程，BenthicFlow实现了空间可扩展的RGBD马赛克，避免了单独拼接模型的需求。实验表明，该方法在不同地理调查地点生成的3D场景能够保持特定外观的一致性，并与目标分布紧密匹配。
🔬 方法详解
问题定义：本论文旨在解决水下环境中3D场景理解的困难，现有方法通常依赖于独立生成的图块进行拼接，导致生成场景的连贯性和一致性不足。
核心思路：BenthicFlow提出了一种基于条件流匹配的统一框架，能够同时生成纹理和深度图，从而实现空间上可扩展的RGBD马赛克，避免了传统方法中的拼接问题。
技术框架：该框架包括一个条件流匹配模型和一个MultiDiffusion启发的采样过程，后者用于在生成过程中协调重叠窗口，确保生成的图像在空间上是连贯的。
关键创新：BenthicFlow的主要创新在于其统一的生成模型，能够在不依赖于后期拼接的情况下，生成大规模的3D场景，这与现有方法的独立生成和拼接策略形成了鲜明对比。
关键设计：在模型设计中，采用了特定的损失函数以确保生成的纹理和深度图之间的对齐，同时使用了高效的网络结构来处理生成过程中的复杂性。具体的参数设置和网络架构细节在论文中有详细描述。
🖼️ 关键图片
📊 实验亮点
实验结果表明，BenthicFlow在不同地理调查地点生成的3D场景能够保持特定外观的一致性，且与目标分布的匹配度显著提高。具体而言，生成的RGBD马赛克在空间扩展性和连贯性方面表现优异，较传统方法提升了生成质量。
🎯 应用场景
BenthicFlow的研究成果在水下环境的3D场景理解中具有广泛的应用潜力，能够为海洋探测、生态监测和水下机器人导航等领域提供高质量的环境建模支持。未来，该技术可能推动水下计算机视觉的进一步发展，提升相关应用的智能化水平。
📄 摘要（原文）
Computer vision applications for 3D scene understanding in underwater environments remain challenging due to the lack of high-quality 3D data and the inability of surface-trained models to generalize to underwater scenes. To address this challenge, an emerging trend is to employ generative models to close the data domain gap. However, existing methods assemble large scenes by stitching independently generated tiles post hoc with separately trained models, while demonstrating heterogeneous landscapes only within individual survey sites. We introduce BenthicFlow, a unified framework based on a single conditional flow-matching model that jointly generates aligned textures and depth maps. A MultiDiffusion-inspired sampling procedure reconciles overlapping windows throughout the generative trajectory, enabling spatially extensible RGBD mosaics without a separate stitching model. The generated mosaics are subsequently lifted into explicit 3D benthic environments using surface-aligned Gaussian surfels. Experiments across geographically distinct survey sites demonstrate that BenthicFlow preserves site-specific appearance while generating coherent, large-scale 3D scenes that closely match the target distributions. Code and trained models are available at https://github.com/jacomof/BenthicFlow.