Paint What You See: Benchmarking Dexterous Visual Tool Use in Multimodal Agents

📄 arXiv: 2608.25417v1 📥 PDF

作者: Shudong Liu, Dongyang Chen, Enci Zhang, Jinwei Liang, Zheng Ma, Lewei Lu

分类: cs.AI

发布日期: 2026-08-26

💡 一句话要点

提出EASEL基准以解决多模态智能体的精细视觉工具使用问题

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 多模态智能体 灵巧工具使用 视觉重建 基准评估 语义任务 轨迹监督 闭环稳定性

📋 核心要点

  1. 现有方法在多模态智能体的灵巧视觉工具使用方面存在评估不足，缺乏对视觉证据与执行精度耦合的关注。
  2. 本文提出EASEL基准，通过参考引导的视觉重建任务，评估灵巧视觉工具使用的能力，并引入多种语义任务。
  3. 实验结果显示，当前多模态智能体在EASEL基准上表现不佳，重建相似度和轨迹稳定性均存在显著问题，EASEL-9B模型相较基础模型有6.3%的提升。

📝 摘要（中文）

随着评估方法从静态问答转向智能体通过外部工具进行操作，本文识别出一个关键但未充分探索的能力——灵巧的视觉工具使用。现有基准主要集中在网页导航、GUI操作和软件工程等领域，鲜有针对视觉证据与执行精度之间耦合的评估。为此，本文提出了EASEL基准，评估灵巧视觉工具使用的受控实例，主要任务为参考引导的视觉重建，代理逐步绘制画布以匹配参考图像。此外，EASEL还包括区域标注、手写和路径规划等语义任务。通过对25个模型的评估，发现当前多模态智能体在EASEL上表现不佳，重建相似度瓶颈在低水平（0.40-0.54），而轨迹诊断显示严重的闭环不稳定性。EASEL-9B在EASEL-Data上训练，相较基础模型提升6.3%。

🔬 方法详解

问题定义：本文旨在解决多模态智能体在灵巧视觉工具使用中的评估不足，现有方法未能有效结合视觉证据与执行精度。

核心思路：提出EASEL基准，通过参考引导的视觉重建任务，评估智能体在灵巧工具使用中的表现，强调视觉证据对执行结果的影响。

技术框架：EASEL基准包括多个模块，主要任务为逐步绘制画布以匹配参考图像，同时涵盖区域标注、手写和路径规划等语义任务，形成一个多层次的评估体系。

关键创新：EASEL基准的创新在于其独特的任务设计，强调了视觉证据与执行精度的耦合，填补了现有评估方法的空白。

关键设计：在模型训练中，使用了EASEL-Data数据集，包含440k样本，采用两阶段课程学习策略，损失函数设计上注重重建相似度和轨迹稳定性，确保模型在灵巧工具使用中的表现。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果显示，25个模型在EASEL基准上的表现普遍不佳，重建相似度瓶颈在0.40-0.54之间，轨迹稳定性差，模型通常在早期饱和或在达到峰值后迅速下降。EASEL-9B模型在EASEL-Data上训练后，相较基础模型提升了6.3%，在所有评估模型中排名第三。

🎯 应用场景

该研究的潜在应用领域包括机器人操作、增强现实和人机交互等，能够帮助智能体更好地理解和使用工具，提升其在复杂环境中的自主性和灵活性。未来，该基准可能推动多模态智能体在实际应用中的广泛部署，促进智能系统的智能化发展。

📄 摘要（原文）

Evaluation is shifting from static QA toward agentic settings where models act through external tools. We identify a critical yet underexplored capability within this space - dexterous visual tool use: fine-grained, closed-loop parameterized visual action in which models infer tool parameters from visual evidence, and those parameters directly govern the final result. Existing benchmarks cover web navigation, GUI operation, and software engineering, but rarely target this coupling between visual evidence and execution precision. We propose EASEL, a benchmark evaluating a controlled instance of dexterous visual tool use that adopts reference-guided visual reconstruction as its primary proxy task: the agent incrementally paints a canvas to match a reference image. EASEL additionally includes semantic tasks spanning region annotation, handwriting, and path planning. We further provide EASEL-Data, a 440k-sample two-stage curriculum dataset for trajectory supervision, and EASEL-9B to investigate its effect on this capability. Evaluation of 25 models reveals that current multimodal agents systematically struggle on EASEL. Reconstruction similarity bottlenecks at low levels (0.40-0.54), while trajectory diagnostics expose severe closed-loop instability - models typically saturate early or degrade post-peak. Semantic tasks reveal sharp capability boundaries in precision annotation and path planning. EASEL-9B, trained on EASEL-Data, surpasses the base model by a relative 6.3%, ranking third among all evaluated models.