Attention from Action, for Action: Emergent Visual Bottlenecks for Policy Learning

📄 arXiv: 2608.13422v1 📥 PDF

作者: Zheyu Zhuang, Ruiyu Wang, Nick Heppert, Johannes Fabian Hahn, Abhinav Valada, Florian T. Pokorny, Danica Kragic

分类: cs.RO

发布日期: 2026-08-13

备注: Code: https://github.com/zheyu-zhuang/seeker

💡 一句话要点

提出Seeker以解决视觉瓶颈问题，提升策略学习效率

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture) 支柱三：空间感知与语义 (Perception & Semantics)

关键词: 视觉瓶颈 策略学习 动作监督 动态裁剪 机器人视觉 数据效率 鲁棒性

📋 核心要点

  1. 现有方法依赖外部标签或固定裁剪区域，导致在动态任务中ROIs可能失效。
  2. Seeker通过从动作中学习注意力，生成进度感知的ROIs，避免了对额外标签的依赖。
  3. 在真实机器人实验中，Seeker的成功率显著提升，展示了其在复杂环境中的有效性。

📝 摘要（中文）

视觉瓶颈通过聚焦感兴趣区域（ROIs）来改善数据高效的视觉运动学习，分离观察与行动的过程。现有的ROIs接口通常依赖外部空间标签，而无标签的替代方案则通过检测抓取或运动事件来生成固定裁剪区域。本文提出Seeker，一种基于任务和状态的读取机制，从动作中学习注意力，利用DINOv3特征逐步更新查询，生成仅依赖于动作监督的进度感知ROIs。实验表明，Seeker在模拟和真实环境中均显著提高了数据效率和鲁棒性，真实机器人上的成功率从48.3%提升至76.7%。

🔬 方法详解

问题定义：本文旨在解决现有视觉运动学习方法中ROIs生成的局限性，尤其是在动态任务中，固定裁剪区域可能导致信息失配和效率低下。

核心思路：Seeker通过从动作中学习注意力，动态生成进度感知的ROIs，避免了对外部标签的依赖，提升了数据利用效率。

技术框架：Seeker的整体架构包括三个主要模块：首先，利用冻结的DINOv3特征作为基础；其次，基于收集到的视觉证据迭代更新查询；最后，生成用于RGB裁剪、背景增强和点云过滤的ROIs。

关键创新：Seeker的创新在于其通过动作监督学习生成ROIs的能力，区别于传统方法依赖固定裁剪或外部标签的方式，提供了更灵活的视觉输入。

关键设计：在设计中，Seeker采用了特定的损失函数以优化ROIs的生成，并通过动态调整裁剪区域的规模和位置来适应任务进展。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

在真实机器人实验中，Seeker的平均成功率从最佳基线的48.3%提升至76.7%，在光照和背景变化下的成功率从20.0%提升至60.0%。这些结果表明，Seeker在数据效率和鲁棒性方面显著优于无裁剪、增强和动作衍生裁剪的基线方法。

🎯 应用场景

Seeker的研究成果在机器人视觉、自动化控制和人机交互等领域具有广泛的应用潜力。通过提高视觉运动学习的效率和鲁棒性，Seeker可以帮助机器人在复杂和动态环境中更好地执行任务，推动智能机器人技术的发展。

📄 摘要（原文）

Visual bottlenecks that focus policy inputs on regions of interest (ROIs) can improve data-efficient visuomotor learning by separating where to look from how to act. Many ROI interfaces rely on external spatial labels, such as gaze, object classes, or affordance annotations. Label-free alternatives often derive crops from trajectories by detecting gripper or motion events and centering a fixed crop at the projected end-effector. Such action-derived crops are useful spatial priors that require no additional labels, but they encode fixed choices about event timing, proxy points, and crop scale. When the visual evidence needed for control lies away from the end-effector or changes continuously with task progress, these crops can become misaligned. We propose Seeker, a task- and state-conditioned readout that learns attention from action. Starting from frozen DINOv3 features, Seeker iteratively updates a query with gathered visual evidence, producing progression-aware ROIs solely from action supervision. The learned ROI serves as a spatial interface for RGB cropping, mask-guided background augmentation, and point-cloud filtering. In simulation and the real world, Seeker improves data efficiency and robustness over no-crop, augmentation, and action-derived crop baselines. On real robots, Seeker raises average in-domain success from the best baseline's 48.3% to 76.7% and success under lighting/background shifts from 20.0% to 60.0%.