A natural language processing-based approach: mapping human perception by understanding deep semantic features in street view images

📄 arXiv: 2311.17354v1 📥 PDF

作者: Haoran Ma, Dongdong Wu

分类: cs.CV

发布日期: 2023-11-29

备注: 11 pages, 8 figures

💡 一句话要点

提出基于自然语言处理的方法以映射人类感知

🎯 匹配领域: 支柱八：物理动画 (Physics-based Animation)

关键词: 人类感知 深层语义特征 自然语言处理 街景图像 机器学习 城市科学 BERT模型

📋 核心要点

  1. 现有方法主要依赖图像的浅层信息，难以全面理解人类对场景的深层语义特征。
  2. 本研究提出了一种基于预训练自然语言模型的框架，结合图像描述和深层语义特征来分析人类感知。
  3. 实验结果显示，使用深层语义特征的人类感知评分在性能上优于传统方法，提供了更好的解释能力。

📝 摘要（中文）

在过去十年中，利用街景图像和机器学习来测量人类感知已成为城市科学的主流研究方法。然而，仅使用图像的浅层信息使得全面理解人类对场景的深层语义特征变得困难。本研究提出了一种基于预训练自然语言模型的新框架，以理解人类感知与场景感知之间的关系。首先，使用Place Pulse 2.0作为基础数据集，包含多种人类感知标签。其次，利用图像描述网络提取街景图像的描述信息，并对预训练的BERT模型进行微调，添加六个感知维度的回归函数。实验结果表明，基于深层语义特征的人类感知评分优于传统的浅层特征机器学习方法。

🔬 方法详解

问题定义：本研究旨在解决现有方法在理解人类对场景的深层语义特征时的不足，尤其是仅依赖浅层信息的问题。

核心思路：通过结合图像描述网络和预训练的BERT模型，提取深层语义特征，以更全面地理解人类感知与场景的关系。

技术框架：整体架构包括数据集选择、图像描述提取、BERT模型微调及回归分析等主要模块。首先使用Place Pulse 2.0数据集，然后提取图像描述，最后进行模型训练和评估。

关键创新：本研究的创新点在于将深层语义特征与人类感知评分结合，显著提高了感知评分的准确性和解释能力，与传统方法形成鲜明对比。

关键设计：在模型设计中，使用了图像描述网络提取信息，并对BERT模型进行了微调，添加了针对六个感知维度的回归函数，以优化模型性能。

📊 实验亮点

实验结果表明，基于深层语义特征的人类感知评分在性能上优于五种传统回归方法，具体提升幅度未知。该方法在香港的迁移实验中也表现出良好的适应性，显示出其广泛的应用潜力。

🎯 应用场景

该研究的潜在应用领域包括城市规划、环境设计和社会科学研究等。通过更准确地理解人类感知，能够为城市环境的优化和设计提供数据支持，提升居民的生活质量。未来，该方法可能在智能城市建设和人机交互等领域发挥重要作用。

📄 摘要（原文）

In the past decade, using Street View images and machine learning to measure human perception has become a mainstream research approach in urban science. However, this approach using only image-shallow information makes it difficult to comprehensively understand the deep semantic features of human perception of a scene. In this study, we proposed a new framework based on a pre-train natural language model to understand the relationship between human perception and the sense of a scene. Firstly, Place Pulse 2.0 was used as our base dataset, which contains a variety of human-perceived labels, namely, beautiful, safe, wealthy, depressing, boring, and lively. An image captioning network was used to extract the description information of each street view image. Secondly, a pre-trained BERT model was finetuning and added a regression function for six human perceptual dimensions. Furthermore, we compared the performance of five traditional regression methods with our approach and conducted a migration experiment in Hong Kong. Our results show that human perception scoring by deep semantic features performed better than previous studies by machine learning methods with shallow features. The use of deep scene semantic features provides new ideas for subsequent human perception research, as well as better explanatory power in the face of spatial heterogeneity.