Can AI Reason Like an Urban Planner? Benchmarking Large Language Models Against Professional Judgment
作者: Yijie Deng, He Zhu, Wen Wang, Junyou Su, Minxin Chen, Wenjia Zhang
分类: cs.CL
发布日期: 2026-06-10
💡 一句话要点
提出UPBench框架以评估AI在城市规划中的推理能力
🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)
关键词: 城市规划 大型语言模型 推理能力 评估框架 知识支柱 认知层次 政策分析
📋 核心要点
- 核心问题：现有AI工具在城市规划中的应用缺乏系统性评估框架，难以验证其推理能力与人类专家的差异。
- 方法要点：提出UPBench评估框架，通过四个知识支柱和五个认知层次来系统评估LLM的推理能力。
- 实验或效果：对25个LLM进行评估，发现模型在高阶分析任务上表现优于低阶任务，揭示了规划知识的复杂性。
📝 摘要（中文）
随着大型语言模型（LLMs）的兴起，城市规划领域面临一个关键问题：AI能复制哪些专业规划知识，哪些仍需人类判断？尽管AI工具在规划实践中日益普及，但尚缺乏系统性框架来测试其在规划专业知识中的推理能力。本文提出了城市规划基准（UPBench），这是一个领域特定的评估框架，通过四个知识支柱和五个认知层次的4x5矩阵来评估LLM的推理能力。对25个LLM进行自动评分和专家评审后发现，模型在高阶分析任务上的表现优于事实回忆和综合判断，表明规划知识受到制度、管辖和时间背景的深刻影响，使得LLM难以泛化。我们总结了这些限制为四个认识诊断：监管幻觉、概念混淆、棘手问题瘫痪和实践智慧缺失。
🔬 方法详解
问题定义：论文要解决的问题是如何系统性地评估大型语言模型在城市规划中的推理能力。现有方法未能有效区分AI与人类专家在专业知识应用中的差异，导致对AI工具的信任度不足。
核心思路：论文提出UPBench框架，旨在通过结构化的评估方法，分析LLM在不同认知层次上的表现，特别是其在复杂情境下的推理能力。这样的设计能够更好地反映规划知识的多维性和复杂性。
技术框架：UPBench框架由四个知识支柱（如制度知识、情境意识等）和五个认知层次（如记忆、理解、应用等）组成，形成一个4x5的评估矩阵。评估过程包括自动评分和专家评审两个阶段。
关键创新：最重要的技术创新点在于引入了针对城市规划领域的特定评估框架，能够揭示LLM在处理复杂规划任务时的局限性，与传统的单一任务评估方法有本质区别。
关键设计：在评估过程中，采用了自动评分系统结合专家评审，确保评估结果的客观性和准确性。同时，针对不同认知层次设计了相应的任务，以全面考察模型的推理能力。
🖼️ 关键图片
📊 实验亮点
实验结果显示，25个LLM在高阶分析任务上的表现明显优于低阶任务，揭示了模型在处理复杂情境时的局限性。具体而言，模型在高阶任务上的得分普遍高于50%，而在事实回忆和综合判断任务上的得分则低于30%。
🎯 应用场景
该研究的潜在应用领域包括城市规划、政策分析和跨学科研究。UPBench框架能够帮助规划机构更好地理解和利用AI工具，提升决策效率和准确性。未来，随着AI技术的发展，该框架可能会被广泛应用于其他领域的专业知识评估。
📄 摘要（原文）
Problem, Research Strategy, and Findings: The rise of large language models (LLMs) raises a key question for urban planning: which forms of professional planning knowledge can AI replicate, and which still require human judgment? Although AI tools are increasingly used in planning practice, there is still no systematic framework for testing whether they can reason with the contextual sensitivity, value awareness, and institutional literacy central to planning expertise. This paper introduces Urban Planning Bench (UPBench), a domain-specific evaluation framework that assesses LLM reasoning through a 4x5 matrix of four knowledge pillars and five cognitive levels adapted from Bloom's revised taxonomy. Evaluating 25 LLMs with automated scoring and expert review, we find a non-monotonic cognitive curve: models perform better on higher-order analytical tasks than on factual recall and integrative judgment. This suggests that planning knowledge often treated as lower-order is deeply shaped by institutional, jurisdictional, and temporal context, making it hard for LLMs to generalize. We summarize these limits as four epistemic diagnostics: regulatory hallucination, conceptual conflation, wickedness paralysis, and phronetic deficit. Takeaway for Practice: The findings support differential delegation in planning. LLMs can assist with cross-disciplinary synthesis, literature review, scenario generation, and preliminary policy analysis. However, they remain unreliable for jurisdiction-specific regulation, normative conflict resolution, and context-sensitive procedure. Agencies should require verification for AI-assisted regulatory analysis, while planning education should emphasize institutional literacy, normative judgment, and contextual sensitivity.