Remote-Sensing City Layout Extraction with MLLM
作者: Zigan Zhou, Kai Li, Yupeng Deng
分类: cs.CV
发布日期: 2026-08-17
备注: 4 pages, 2 figures, 4 tables. Accepted to IEEE APGARSS 2026
💡 一句话要点
提出基于多模态大语言模型的城市布局提取方法
🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)
关键词: 城市布局提取 多模态大语言模型 遥感技术 代码生成 3D城市建模 语义分析 城市规划
📋 核心要点
- 现有遥感方法主要依赖检测框和语义掩膜，无法有效保留城市布局的对象身份和关系。
- 本文提出利用多模态大语言模型（MLLM）将城市布局提取视为受限代码生成，能够生成可执行的城市布局。
- 在CityLayout-100数据集上，框架实现了41.1%的平均交并比和48.3%的全局交并比，显示出显著的性能提升。
📝 摘要（中文）
遥感系统通常通过检测框、语义掩膜或矢量边界来描述城市内容。这些输出虽然能够定位类别并支持图像评分，但并不构成可执行的布局，无法保留对象身份、类型关系、拓扑结构和再生规则。本文提出了一种将城市布局提取视为受限代码生成的方法，利用多模态大语言模型（MLLM）从单一的俯视图像中提取城市布局。首先，图像模型生成一个对齐的五类语义布局先验。随后，经过三次有序的MLLM处理，恢复道路、土地覆盖区域及其关系，以及建筑物。通过确定性归一化，将累积记录转换为城市图和受限布局程序。执行该程序可生成可渲染的3D城市布局及其正交语义投影，允许与遥感掩膜进行像素级比较，同时保持命名对象、关系和编辑操作的可用性，以便同步再生两种视图。该框架在CityLayout-100的100个场景上评估，获得41.1%的平均交并比和48.3%的全局交并比，提供了视觉观察可以转化为可检查、可编辑的城市代码的定量证据。
🔬 方法详解
问题定义：本文旨在解决现有遥感系统在城市布局提取中无法保留对象身份和关系的问题，现有方法的输出缺乏可执行性和可编辑性。
核心思路：通过将城市布局提取视为受限代码生成，利用多模态大语言模型（MLLM）从单一图像中提取城市布局，确保生成的布局可执行且可编辑。
技术框架：整体流程包括图像模型生成五类语义布局先验，随后进行三次有序的MLLM处理，最后通过确定性归一化将结果转换为城市图和布局程序。
关键创新：最重要的创新在于将城市布局提取转化为代码生成任务，结合图像和语义信息，生成可渲染的3D城市布局及其正交语义投影。
关键设计：在模型设计中，采用了多模态输入和有序处理策略，确保了信息的有效整合和布局的准确生成。
🖼️ 关键图片
📊 实验亮点
在CityLayout-100数据集上，提出的框架实现了41.1%的平均交并比和48.3%的全局交并比，相较于现有方法显示出显著的性能提升，提供了定量证据支持视觉观察向城市代码的转化。
🎯 应用场景
该研究的潜在应用领域包括城市规划、智能交通系统和环境监测等。通过生成可编辑的城市布局，规划者可以更有效地进行城市设计和管理，提升城市发展的智能化水平。未来，该方法可能在自动化城市建模和虚拟现实等领域发挥重要作用。
📄 摘要（原文）
Remote-sensing systems usually describe urban content with detection boxes, semantic masks, or vector boundaries. Such outputs locate classes and support image-plane scoring, yet they do not by themselves constitute an executable layout that retains object identities, typed relations, topology, and regeneration rules. Code-as-City instead casts urban-layout extraction from a single top-down image as constrained code generation with a multimodal large language model (MLLM). An image model first produces an aligned five-class semantic layout prior. Three ordered MLLM passes use the image and this prior to recover roads, land-cover regions and relations, and buildings. Deterministic normalization converts the accumulated records into a city graph and a restricted layout program. Executing the program creates a renderable 3D city layout and an orthographic semantic projection over shared geometry. The projection admits pixel-level comparison with remote-sensing masks, while named objects, relations, and editing operations remain available for synchronized regeneration of both views. Evaluated on the 100 scenes of CityLayout-100, the complete framework obtains 41.1% mean intersection-over-union and 48.3% global intersection-over-union. This result provides quantitative evidence that visual observations can be translated into inspectable, editable city code with coupled planar and 3D outputs.