SketchMate: Agentic Geometric Reasoning for Zero-Shot Precision Insertion
作者: Jiaming Wang
分类: cs.RO
发布日期: 2026-10-30
备注: 25 pages, 6 figures
💡 一句话要点
提出SketchMate以解决零-shot精确插入问题
🎯 匹配领域: 支柱一：机器人控制 (Robot Control)
关键词: 零-shot学习 几何推理 机器人操控 视觉-语言模型 自动化装配
📋 核心要点
- 现有的零-shot操控方法在插入未见部件时，空间输出精度不足，无法满足亚毫米级的要求。
- 本文提出了一种新的方法，通过构建几何草图模型来实现精确插入，减少了对视觉-语言模型的依赖。
- 在69个模拟插入实验中，本文方法成功插入88%的部件，显著优于其他基线方法。
📝 摘要（中文）
在插入未见部件时，需要亚毫米级的精度和正确的对接特征方向。现有基于视觉-语言模型的零-shot操控方法产生的空间输出过于粗糙。本文提出让视觉-语言模型构建任务的草图模型，包括几个几何原件和两个对接框架，机器人通过多视角深度测量这些草图，并由标准规划器和顺应控制器执行。草图独立于部件的放置，机器人每个任务只需构建一次。草图记忆存储每次代理运行，并通过点云配准将存储的草图转移到后续放置中，从而仅在遇到不熟悉的部件时调用视觉-语言模型。通过这种方法，在69个模拟插入实验中，我们的方法在严格的运动学测试中成功插入了88%的部件，而其他方法则未能插入任何部件。
🔬 方法详解
问题定义：本文旨在解决在插入未见部件时所需的亚毫米级精度和正确方向的问题。现有方法在空间输出上过于粗糙，无法满足这一要求。
核心思路：论文提出通过视觉-语言模型构建任务的草图模型，包含几何原件和对接框架，机器人通过几何工具进行测量，从而实现精确插入。
技术框架：整体架构包括草图构建、草图记忆存储、点云配准和插入执行四个主要模块。草图模型在任务开始时构建，之后通过记忆存储和配准技术在后续插入中复用。
关键创新：最重要的技术创新在于草图模型的构建和记忆机制，使得机器人在面对新部件时只需调用视觉-语言模型一次，显著提高了效率和准确性。
关键设计：在设计中，草图模型的构建依赖于几何原件的定义和对接框架的设置，使用标准的规划器和顺应控制器来执行插入任务，确保了操作的精确性。具体的参数设置和损失函数在实验中经过优化，以提升插入成功率。
🖼️ 关键图片
📊 实验亮点
在69个模拟插入实验中，SketchMate方法成功插入了88%的部件，显著优于ReKep和MOKA等基线方法，后者在相同条件下未能插入任何部件。此外，复用存储的草图模型在新任务中插入的效率提升，草图生成时间从约90秒减少到3.4秒。
🎯 应用场景
该研究的潜在应用领域包括自动化装配、机器人操作和智能制造等。通过提高机器人在复杂环境中插入未见部件的精度和效率，能够显著提升生产线的灵活性和智能化水平，具有重要的实际价值和未来影响。
📄 摘要（原文）
Inserting an unseen part requires sub-millimetre precision and the correct orientation of keyed features. Current zero-shot agentic manipulation methods built on vision-language models (VLMs) produce spatial outputs that are far too coarse for this. We propose to let a VLM build a sketch model of the task, i.e., a few geometric primitives and two mate frames, which a VLM agent measures with geometric tools in multi-view depth and which a standard planner and compliant controller execute. Because a sketch describes the parts independently of their placement, the robot needs to build it only once per task. A sketch memory stores each agent run and transfers the stored sketch to later placements by point-cloud registration, so that the VLM is called only for unfamiliar parts. After grasping the part, the robot inspects both mating faces at close range and corrects the sketch by shape matching. On 69 simulated insertion episodes, our method inserts 88% of the parts at the assembled pose in a strict kinematic test, while ReKep and MOKA with the same VLM insert none. On new placements of eight tasks, reusing one stored run inserts as many parts as calling the agent in each episode, and it produces the sketch in 3.4 s instead of about 90 s.