MV-GEL: Language-Driven Multi-View Geometric Entity Localization on Meshes
作者: Kartik Bali, Roland Aydin
分类: cs.CV
发布日期: 2026-06-30
🔗 代码/项目: GITHUB
💡 一句话要点
提出MV-GEL框架以解决3D几何实体定位问题
🎯 匹配领域: 支柱一：机器人控制 (Robot Control)
关键词: 几何实体定位 多视角分析 自然语言处理 计算机辅助设计 机器人操作 视觉语言模型 3D网格 深度学习
📋 核心要点
- 现有方法在3D几何体的语言驱动定位上面临视角敏感性和遮挡等挑战，导致定位精度不足。
- MV-GEL框架通过选择最佳视角来增强几何实体的可观察性，从而提高定位精度。
- 实验结果显示，MV-GEL在面级IoU和边级F1上分别提高了1.7倍和4.5倍，显著优于传统方法。
📝 摘要（中文）
在计算机辅助设计（CAD）、机器人操作和科学模拟中，精确识别和定位3D对象中的几何实体（如边缘、平面区域和曲面）至关重要。尽管现代视觉语言模型（VLMs）在图像领域的引用分割（RIS）方面取得了进展，但将这种语言驱动的定位扩展到结构化的3D几何体上仍然面临重大挑战。MV-GEL（多视角几何实体定位）框架通过自然语言查询来定位多边形网格上的细粒度几何实体。我们的关键见解是，可靠的CAD实体定位依赖于选择能够最大程度上解释查询实体的视角。我们引入了GELviews模块，根据语言提示的可观察性对视角进行优先排序。实验结果表明，与传统基线相比，面级IoU提高了1.7倍，边级F1提高了4.5倍，尤其在薄且对视角敏感的结构上表现优异。
🔬 方法详解
问题定义：本论文旨在解决在3D网格中通过自然语言查询精确定位几何实体的问题。现有方法在处理视角变化和遮挡时表现不佳，导致定位精度低下。
核心思路：论文提出的核心思路是通过选择最佳视角来增强几何实体的可观察性，从而提高定位的准确性。通过引入GELviews模块，优先选择那些能够最大化查询实体可见性的视角。
技术框架：MV-GEL框架包括多个主要模块：首先是GELviews模块，根据语言提示对视角进行排序；其次是基于VLM的推理分割主干处理选定视角；最后，通过几何感知的光线投射将预测的掩膜提升到相应的网格上。
关键创新：最重要的技术创新在于GELviews模块的引入，它通过语言提示的可观察性对视角进行优先排序，这一设计显著提升了几何实体的定位精度，与现有方法相比具有本质区别。
关键设计：在模型设计中，采用了特定的损失函数以优化视角选择和分割精度，同时确保了网络结构的灵活性，使其能够适应不同的3D网格数据。
🖼️ 关键图片
📊 实验亮点
实验结果显示，MV-GEL在面级IoU上提高了1.7倍，在边级F1上提高了4.5倍，显著优于传统的CLIP基线和随机视角采样方法，特别是在处理薄且对视角敏感的结构时表现突出。
🎯 应用场景
该研究的潜在应用领域包括计算机辅助设计、机器人操作和科学模拟等。通过提高3D几何实体的定位精度，MV-GEL框架能够显著提升相关领域的工作效率和准确性，推动智能制造和自动化技术的发展。
📄 摘要（原文）
Identifying and grounding precise geometric entities, such as edges, planar regions, and curved surfaces within 3D objects, is foundational to computer-aided design (CAD), robotic manipulation, and scientific simulation. Although modern Vision Language Models (VLMs) have advanced referring segmentation (RIS) in the image domain, extending such language-driven localization to structured 3D geometry is substantially harder. The 3D object appearance is highly sensitive to viewpoints; a single perspective may render a target entity clearly observable, while another may suffer from severe occlusion or foreshortening. In this work, we attempt to solve these challenges with MV-GEL (Multi-View Geometric Entity Localization), a framework for localizing fine-grained geometric entities on polygon meshes from natural language queries. Our key insight is that reliable CAD entity (i.e., faces, edges or solids) localization depends on selecting views that make the queried entity maximally interpretable. We introduce GELviews, a prompt-conditioned ranking module that prioritizes viewpoints based on language prompted observability of geometric CAD entities. Selected views are processed by a VLM-based reasoning segmentation backbone, and predicted masks are lifted to the corresponding meshes via geometry-aware ray casting. Our framework is completely CAD agnostic and relies only on 3D meshes. Experiments show up to a 1.7X improvement in face-level IoU and over 4.5X gains in edge-level F1 compared to vanilla baselines, substantially outperforming CLIP-based and random view sampling, particularly for thin and view-sensitive structures.The dataset, code and trained checkpoints are available at https://github.com/kbali1297/MV-GEL.