Fast Human Attention Prediction for Fixation-guided Active Perception in Autonomous Navigation

📄 arXiv: 2606.20491v1 📥 PDF

作者: Fatma Youssef Mohammed, Grzegorz Malczyk, Kostas Alexis

分类: cs.RO, cs.CV

发布日期: 2026-06-18

备注: Accepted to the IEEE/RSJ International Conference on Intelligent Robots and Systems (IROS 2026)

💡 一句话要点

提出GazeLNN以解决机器人自主导航中的人类注意力预测问题

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture)

关键词: 人类注意力预测 机器人自主导航 液态神经网络 MobileNetV3 强化学习 计算效率 视觉特征提取

📋 核心要点

  1. 现有的人类注意力预测模型计算成本高，限制了其在机器人自主导航中的应用。
  2. 本文提出GazeLNN模型，利用液态神经网络和MobileNetV3进行高效的扫描路径预测。
  3. GazeLNN在MIT低分辨率数据集上取得了0.47的ScanMatch得分，计算成本降低99.40%，推理速度提升至六倍。

📝 摘要（中文）

人类视觉注意力依赖结构化的扫描路径来高效处理场景，但将这种行为融入机器人自主性仍处于起步阶段，且现有预测模型的计算成本高。为此，本文提出GazeLNN，这是一种计算轻量的扫描路径预测模型，利用液态神经网络作为递归引擎，并采用MobileNetV3进行特征提取。该架构自回归地预测基于当前视觉刺激和注视历史的顺序注视热图。GazeLNN仅需0.61 GFLOPs的计算量，在MIT低分辨率数据集上实现了0.47的ScanMatch得分，超越了现有递归基线，降低了99.40%的计算成本，并将推理速度提升至六倍。通过将GazeLNN集成到通过强化学习训练的主动相机-机器人控制策略中，验证了其在自主导航中的实用性。

🔬 方法详解

问题定义：本文旨在解决机器人自主导航中人类注意力预测的高计算成本问题。现有方法在处理复杂场景时效率低下，难以实时应用。

核心思路：GazeLNN模型通过液态神经网络实现轻量级的扫描路径预测，结合MobileNetV3进行特征提取，旨在降低计算负担并提高预测精度。

技术框架：GazeLNN采用自回归架构，首先提取视觉特征，然后根据当前视觉刺激和历史注视信息预测顺序注视热图。整体流程包括特征提取、热图生成及后续决策模块。

关键创新：GazeLNN的主要创新在于其使用液态神经网络，显著降低了计算复杂度，同时保持了高预测性能。这与传统的递归神经网络方法形成鲜明对比。

关键设计：模型设计中，GazeLNN仅需0.61 GFLOPs的计算量，采用自回归机制生成热图，优化了网络结构以提高推理速度和准确性。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

GazeLNN在MIT低分辨率数据集上取得了0.47的ScanMatch得分，超越了现有的递归基线，计算成本降低99.40%，推理速度提升至六倍。这些结果表明该模型在效率和准确性上的显著优势，具有广泛的应用潜力。

🎯 应用场景

该研究的潜在应用领域包括自主导航、机器人视觉系统和人机交互等。通过高效的人类注意力预测，机器人能够更好地理解和响应环境，提高自主决策能力，未来可能在智能交通、无人机监控等场景中发挥重要作用。

📄 摘要（原文）

Human visual attention relies on structured scanpaths to efficiently process scenes, yet instilling this behavior into robot autonomy is in its infancy and hindered by the high,computational costs of existing predictive models. To address this, we introduce GazeLNN, a computationally lightweight,scanpath prediction model that leverages Liquid Neural Networks as its recurrent engine and employs MobileNetV3 for feature extraction. Operating auto-regressively, the architecture predicts sequential fixation heatmaps conditioned on the current visual stimulus and fixation history. Despite requiring only 0.61 GFLOPs, GazeLNN achieves state-of-the-art performance on the MIT Low Resolution dataset achieving 0.47 ScanMatch score. It outperforms existing recurrent baselines across diverse evaluation metrics, while reducing computational costs by 99.40% and accelerating inference by up to six times. To investigate the role of human attention modeling in robot autonomy and demonstrate the practical utility of this highly efficient architecture, we integrate GazeLNN into an active camera-robot control policy trained via Reinforcement Learning. This integration enables human-fixation-guided perception during autonomous navigation, validated through successful real-world deployments on an aerial robot.