MAGAR: Multimodal Agents for GUI-Based 3D Mechanical Assembly and Minimal Rework
作者: Jingxuan Wei, Jiahao Fu, Fuqiang Wang, Xiaoming Wu, Yuwen Liu, Kaiwen Wei, Ming Yang, Junnan Zhu
分类: cs.AI
发布日期: 2026-11-02
💡 一句话要点
提出MAGAR框架以解决GUI命令导致的3D机械装配错误问题
🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)
关键词: 多模态代理 图形用户界面 机械装配 错误修正 自动化 智能制造 机器人技术
📋 核心要点
- 现有方法在GUI命令的执行中，虽然命令在界面上正确，但可能导致装配错误，缺乏有效的修正机制。
- 本文提出MAGAR框架，通过选择性修正机制，利用冻结策略和任务特定干预阈值来提高装配的准确性。
- 实验结果显示，MAGAR在209次干预中，70次成功修正错误，整体任务平衡聚合得分从37.50提升至41.39，显示出显著的性能提升。
📝 摘要（中文）
在图形用户界面（GUI）中，命令在界面层面上可能是正确的，但仍可能导致装配错误。本文提出MAGAR-Bench，一个包含4000个来自26个装配家族的多模态样本的基准，旨在区分装配决策、原子动作和最小返工。MAGAR框架基于经过监督微调的冻结策略，设计上匹配修正粒度与输出依赖关系。通过结构化候选者修正装配字段和返工范围，学习的选择器在任务特定干预阈值未通过时保留原始预测。实验表明，MAGAR在保持可靠预测的同时，显著提高了整体任务平衡聚合，从37.50提升至41.39。
🔬 方法详解
问题定义：本文旨在解决在GUI命令执行过程中，尽管命令在界面层面上是正确的，但仍可能导致3D机械装配错误的问题。现有方法缺乏有效的机制来识别相关组件及其结构关系，导致返工过程中的不必要复杂性。
核心思路：MAGAR框架的核心思想是通过选择性修正机制，结合冻结的策略和任务特定的干预阈值，来提高装配的准确性。该框架能够根据输出的依赖关系调整修正的粒度，从而实现更有效的错误修正。
技术框架：MAGAR框架包括多个主要模块：首先是基于多模态输入的装配决策模块，其次是原子动作模块，最后是最小返工模块。每个模块都针对特定的任务进行优化，以确保整体性能的提升。
关键创新：MAGAR的主要创新在于其选择性修正机制，该机制能够在保持原始预测的同时，针对特定任务进行有效的干预。这种设计与现有方法的本质区别在于，它不仅关注修正的准确性，还考虑到修正过程中的可靠性。
关键设计：在关键设计方面，MAGAR采用了结构化候选者来修正装配字段和返工范围，同时保持原始GUI原语及其参数的完整性。此外，学习的选择器在未通过任务特定干预阈值时，保留原始预测，确保了系统的稳定性和可靠性。
🖼️ 关键图片
📊 实验亮点
在实验中，MAGAR在209次干预中成功修正了70个错误，并且在所有三个任务上均有提升，整体任务平衡聚合得分从37.50提升至41.39，显示出显著的性能改进。这些结果支持了任务特定的修正策略，同时突显了修正错误与保持可靠预测之间的权衡。
🎯 应用场景
MAGAR框架具有广泛的应用潜力，尤其是在自动化装配、机器人操作和智能制造等领域。通过提高装配过程的准确性和效率，该研究能够显著降低生产成本和时间，同时提升产品质量。未来，MAGAR的技术可以扩展到其他需要精确操作的领域，如医疗设备组装和复杂机械系统的维护。
📄 摘要（原文）
A GUI command can be correct at the interface level yet still produce an incorrect assembly. An agent must identify the relevant components, respect their structural relationships, and determine which parts should move during recovery. We introduce MAGAR-Bench, a benchmark of 4,000 multimodal samples from 26 assembly families that separates Assembly Decision, Atomic Action, and Minimal Rework. For rework, the objective counts distinct moved parts within the validated recovery candidate set for each state, rather than the number of actions. We also introduce MAGAR, a selective correction framework built on a frozen policy obtained by supervised fine-tuning. Its key design matches correction granularity to output dependencies. Structured candidates revise assembly fields and rework scope, while complete action candidates keep native GUI primitives coupled with their parameters. A learned selector retains the original prediction unless a candidate passes a task-specific intervention threshold. On recorded states from held-out assembly families, MAGAR improves Overall, the task-balanced aggregate, from 37.50 to 41.39, with gains on all three tasks. Across 209 interventions, 70 correct an error and 22 introduce one. These results support task-specific correction while highlighting the remaining tradeoff between fixing errors and preserving reliable predictions.