Efficient Visual Pointing for Embodied AI:Agent-Driven Data Synthesis, Cross-Block Attention, and Iterative Correction

📄 arXiv: 2606.29850v1 📥 PDF

作者: Zijian Hong, Qi Lv, Yuxiang Xie, Jianming Xing, Xiang Deng, Weili Guan, Liqiang Nie

分类: cs.CV

发布日期: 2026-06-29

💡 一句话要点

提出高效视觉指向方法以解决嵌入式AI的准确性问题

🎯 匹配领域: 支柱三：空间感知与语义 (Perception & Semantics) 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 视觉指向 嵌入式AI 数据合成 交叉块注意力 模型校正 语义理解 机器人技术

📋 核心要点

  1. 现有方法在将语言指令准确映射到像素坐标时存在多种失败模式，导致嵌入式AI的性能不足。
  2. 论文提出的解决方案通过代理驱动的合成、确定性数据管道和模型侧模块来优化视觉指向的准确性。
  3. 实验结果显示，该方法在多个任务上取得了显著提升，整体准确率达到77.2%，在基准测试中排名第二。

📝 摘要（中文）

视觉指向将语言指令映射到像素坐标，是嵌入式AI的核心技能。我们描述了PointArena 2026解决方案，整体准确率达到77.2%，在基准测试中排名第二。该方法针对三种失败模式进行优化：首先，代理驱动的合成构建了大型语义和锚点相对候选池；其次，确定性可引导数据管道创建了经过验证的10,000样本主集；最后，两个模型侧模块解决互补错误，结合了局部验证以选择专家。实验结果显示，Affordance、Spatial Relation、Reasoning、Counting和Steerability的准确率分别为93.9%、82.6%、78.2%、70.4%和63.0%。

🔬 方法详解

问题定义：本论文旨在解决嵌入式AI在视觉指向任务中的准确性问题，现有方法在处理语言指令与像素坐标映射时存在多种失败模式，影响了整体性能。

核心思路：论文的核心思路是通过代理驱动的合成和确定性数据管道来构建高质量的训练数据，同时引入模型侧模块以减少互补错误，从而提升视觉指向的准确性。

技术框架：整体架构包括三个主要模块：代理驱动的合成模块、确定性数据管道和模型侧的AttnRes与ABC校正模块。代理驱动的合成模块构建候选池，数据管道生成主样本集，模型侧模块则处理互补错误。

关键创新：最重要的技术创新点在于引入了可引导的交叉块注意力机制和基于视觉特征的坐标编码校正，这些方法有效地提升了模型的灵活性和准确性。

关键设计：在参数设置上，使用了特定的损失函数来优化模型性能，网络结构中引入了门控机制以增强注意力机制的效果，同时确保了数据管道的高效性和准确性。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果显示，该方法在多个任务上取得了显著提升，整体准确率达到77.2%，在基准测试中排名第二。具体来说，Affordance、Spatial Relation、Reasoning、Counting和Steerability的准确率分别为93.9%、82.6%、78.2%、70.4%和63.0%。

🎯 应用场景

该研究的潜在应用领域包括智能机器人、自动驾驶、增强现实等场景，能够显著提升这些系统在复杂环境中理解和执行语言指令的能力，具有重要的实际价值和未来影响。

📄 摘要（原文）

Visual pointing maps a language instruction to pixel co ordinates, a core skill for embodied AI. We describe our PointArena 2026 solution, which achieves 77.2% overall accuracy and ranks second on the benchmark. The ap proach targets three failure modes. First, agent-driven syn thesis builds large semantic and anchor-relative candidate pools; the server inventory contains 55,372 processed out puts, 53,772 de-duplicated sample IDs, and 37,574 train able completed or accepted rows. Second, a determinis tic steerable-data pipeline creates a verified 10,000-sample main set, plus reserve samples, using masks, templates, and path verification. Third, two model-side modules address complementary errors: AttnRes adds gated cross-block at tention for steerability, while ABC correction encodes per turbed coordinates with visual features for general coordi nate grounding. Category-aware routing combines comple mentary specialists; local validation used to select experts records 93.9% Affordance, 82.6% Spatial Relation, 78.2% Reasoning, 70.4% Counting, and 63.0% Steerability.