BIM-Edit: Benchmarking Large Language Models for IFC-Based Building Information Modeling

📄 arXiv: 2606.20146v1 📥 PDF

作者: Bharathi Kannan Nithyanantham, Clemens Kujat, Tobias Sesterhenn, Stefan Telgmann, Jörn Plönnigs, Stefan Lüdtke, Christian Bartelt

分类: cs.AI

发布日期: 2026-06-18

💡 一句话要点

提出BIM-Edit基准以评估LLM在建筑信息建模中的编辑能力

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 建筑信息建模 大型语言模型 自然语言处理 模型编辑 基准评估 几何准确性 语义有效性 拓扑一致性

📋 核心要点

  1. 现有的CAD基准主要关注新模型的创建，缺乏对现有模型编辑能力的评估，且多侧重几何正确性。
  2. 本文提出BIM-Edit基准，专注于评估LLMs在IFC格式的BIM上进行自然语言编辑的能力，涵盖多种编辑任务。
  3. 实验表明，当前评估的LLMs在几何准确性、语义有效性和拓扑一致性方面的表现仍有很大提升空间。

📝 摘要（中文）

大型语言模型（LLMs）在计算机辅助设计（CAD）中的应用日益增多，能够根据文本指令生成设计成果。然而，现有的CAD基准主要集中在创建新模型，而非编辑现有模型，且多侧重于几何正确性。为此，本文提出了BIM-Edit基准，旨在评估LLMs在基于行业基础类（IFC）格式的建筑信息模型（BIM）上的自然语言编辑能力。BIM-Edit包含324个编辑任务，涵盖11个真实建筑模型和36个合成场景，任务分为直接、空间和拓扑三类。评估输出时考虑几何准确性、语义有效性和拓扑一致性三个维度。实验结果显示，最佳模型在这三项指标上的平均得分仅为49.5%，且没有模型完全解决超过3.4%的任务，表明当前LLM能力与结构化工程设计工作流程的要求之间存在显著差距。

🔬 方法详解

问题定义：本文旨在解决现有CAD基准对大型语言模型（LLMs）在建筑信息模型（BIM）编辑能力评估的不足，尤其是缺乏对语义和关系的理解与保持。

核心思路：通过引入BIM-Edit基准，评估LLMs在自然语言指令下对BIM进行编辑的能力，强调语义和拓扑结构的保持。

技术框架：BIM-Edit基准包含324个编辑任务，分为直接、空间和拓扑三类，涵盖真实和合成场景，评估维度包括几何准确性、语义有效性和拓扑一致性。

关键创新：BIM-Edit的创新在于其综合考虑了建筑模型的几何、语义和拓扑结构，填补了现有基准在模型编辑能力评估方面的空白。

关键设计：在任务设计中，明确了三种指令类别，并通过多样化的场景设置确保了任务的真实性和挑战性，同时在评估中引入了多维度的评分标准。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果显示，最佳模型在几何准确性、语义有效性和拓扑一致性三项指标上的平均得分仅为49.5%，且没有模型能够完全解决超过3.4%的任务，表明当前LLMs在建筑信息建模编辑方面的能力仍有显著提升空间。

🎯 应用场景

该研究的潜在应用领域包括建筑设计、城市规划和智能建筑管理等。通过提升LLMs在BIM编辑方面的能力，可以实现更高效的设计流程和更智能的建筑信息管理，未来可能推动建筑行业的数字化转型。

📄 摘要（原文）

Large language models (LLMs) are increasingly applied to computer-aided design (CAD) to generate design artifacts from textual instructions. In engineering practice, this requires more than creating new geometry, models must also understand existing scenes, edit them correctly, and preserve semantics and relations. However, many CAD benchmarks focus on creating new models rather than editing existing ones, and mostly evaluate geometric correctness. We introduce BIM-Edit, a benchmark for evaluating LLMs on natural-language editing of Building Information Models (BIM) represented in the Industry Foundation Classes (IFC) format. BIM provides a challenging testbed because building models encode geometry together with semantic and relational structure. BIM-Edit contains 324 editing tasks spanning 11 realistic building models and 36 synthetic scenes. Tasks are expressed using three instruction categories - direct, spatial, and topological - covering both explicit and scene-grounded edits. We evaluate outputs along three dimensions: geometric accuracy, semantic validity, and topological consistency. Across evaluated LLMs, the best-performing model achieves only 49.5% average score across the three metrics, and no model fully solves more than 3.4% of tasks. These results demonstrate a substantial gap between current LLM capabilities and the requirements of structured engineering design workflows.