ELEV-VISION-SAM: Integrated Vision Language and Foundation Model for Automated Estimation of Building Lowest Floor Elevation

📄 arXiv: 2404.12606v1 📥 PDF

作者: Yu-Hsuan Ho, Longxiang Li, Ali Mostafavi

分类: cs.CV

发布日期: 2024-04-19

期刊: Comput. Aided Civ. Infrastruct. Eng. 40.1 (2025) 75-90

DOI: 10.1111/mice.13310

💡 一句话要点

提出ELEV-VISION-SAM以解决建筑最低楼层高度估计问题

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 建筑最低楼层高度 街景图像 图像分割 视觉语言模型 城市分析 洪水风险评估 基础设施分析

📋 核心要点

  1. 现有方法在最低楼层高度估计中面临分割质量差和无法有效区分前门与其他门的挑战。
  2. 本研究通过将Segment Anything模型与视觉语言模型结合，采用文本提示进行图像分割，提升LFE估计的准确性。
  3. 实验结果显示，所提方法使得LFE估计的可用性从33%提升至56%，显著提高了前门可见情况下的估计准确性。

📝 摘要（中文）

街景图像因其图像质量和可获取性的提升，成为城市分析研究的重要资源。近期研究探讨了其在估计最低楼层高度（LFE）方面的潜力，提供了一种可扩展的替代传统现场测量的方法。虽然现有方法依赖于物体检测，但图像分割的引入拓宽了街景图像在LFE估计中的应用，然而分割质量和区分前门与其他门的能力仍存在挑战。为了解决这些问题，本研究将Segment Anything模型与视觉语言模型相结合，通过文本提示进行街景图像的分割，从而提高LFE估计的可用性。通过评估多种视觉语言模型、集成方法和文本提示，确定了最适合街景图像分析和LFE估计的模型，使得基于图像分割的LFE估计可用性从33%提升至56%。

🔬 方法详解

问题定义：本论文旨在解决建筑最低楼层高度（LFE）估计中的分割质量和前门识别能力不足的问题。现有方法主要依赖物体检测，导致在复杂场景中效果不佳。

核心思路：本研究的核心思路是将图像分割与视觉语言模型结合，利用文本提示来引导分割过程，从而提高LFE估计的准确性和可用性。

技术框架：整体架构包括三个主要模块：1) 图像预处理，确保输入图像质量；2) 视觉语言模型与Segment Anything模型的集成，进行文本提示的图像分割；3) LFE估计模块，根据分割结果计算最低楼层高度。

关键创新：本研究的关键创新在于首次将视觉语言模型与图像分割模型结合应用于街景图像的LFE估计，显著提升了分割的准确性和可用性。

关键设计：在模型设计中，采用了特定的文本提示策略以优化分割效果，并通过调整损失函数和网络结构来提高模型的学习能力和泛化能力。具体参数设置和网络结构细节在论文中进行了详细描述。

📊 实验亮点

实验结果表明，所提出的方法使得基于街景图像的LFE估计可用性从33%提升至56%，显著提高了在前门可见情况下的估计准确性。此外，本研究还首次建立了不同视觉模型在街景图像LFE估计中的基线和比较，为后续研究提供了重要参考。

🎯 应用场景

该研究的潜在应用领域包括城市规划、洪水风险评估和基础设施分析等。通过提高LFE估计的准确性，能够为城市管理者提供更可靠的数据支持，进而优化城市建设和防灾减灾策略。未来，该方法还可扩展至其他土木工程和基础设施分析任务中，具有广泛的实际价值。

📄 摘要（原文）

Street view imagery, aided by advancements in image quality and accessibility, has emerged as a valuable resource for urban analytics research. Recent studies have explored its potential for estimating lowest floor elevation (LFE), offering a scalable alternative to traditional on-site measurements, crucial for assessing properties' flood risk and damage extent. While existing methods rely on object detection, the introduction of image segmentation has broadened street view images' utility for LFE estimation, although challenges still remain in segmentation quality and capability to distinguish front doors from other doors. To address these challenges in LFE estimation, this study integrates the Segment Anything model, a segmentation foundation model, with vision language models to conduct text-prompt image segmentation on street view images for LFE estimation. By evaluating various vision language models, integration methods, and text prompts, we identify the most suitable model for street view image analytics and LFE estimation tasks, thereby improving the availability of the current LFE estimation model based on image segmentation from 33% to 56% of properties. Remarkably, our proposed method significantly enhances the availability of LFE estimation to almost all properties in which the front door is visible in the street view image. Also the findings present the first baseline and comparison of various vision models of street view image-based LFE estimation. The model and findings not only contribute to advancing street view image segmentation for urban analytics but also provide a novel approach for image segmentation tasks for other civil engineering and infrastructure analytics tasks.