The LAIA Dataset: Labelled Attention for Intelligent Automobiles

📄 arXiv: 2607.25570v1 📥 PDF

作者: A. Contreras, D. Porres, R. Abad, P. Cano, G. Villalonga, A. M. López, A. Hernández-Sabaté

分类: cs.CV, cs.AI, cs.SE

发布日期: 2026-07-28

备注: 11 pages, 12 figures, 3 tables. Dataset and supplementary information available from the project website

💡 一句话要点

提出LAIA数据集以解决自动驾驶模型可解释性问题

🎯 匹配领域: 支柱三：空间感知与语义 (Perception & Semantics)

关键词: 自动驾驶 数据集 人类注意力 可解释性 深度学习 模型评估 行为预测

📋 核心要点

  1. 现有的端到端自动驾驶模型在可解释性和解释性方面存在显著挑战，限制了其广泛应用。
  2. 本文提出LAIA数据集，通过收集人类驾驶时的注意力数据，增强端到端驾驶研究的可解释性。
  3. LAIA数据集的实验结果表明，能够有效比较人类注意力与自动驾驶模型的感知注意力，提供行为洞察。

📝 摘要（中文）

自动驾驶汽车（AV）的发展通常依赖于大量带有真实标签的传感器数据。尽管模块化架构被广泛使用，但端到端驾驶范式通过直接将传感器输入映射到控制动作提供了有前景的替代方案。然而，其采用受到可解释性和解释性挑战的限制。为了解决这一问题，本文提出了LAIA（Labelled Attention for Intelligent Automobiles），一个旨在丰富端到端驾驶研究的人类注意力数据的合成数据集。LAIA使用CARLA模拟器在闭环环境中收集，包含44名参与者在精心设计的场景中驾驶超过15小时的记录。每个序列包括六种天气条件下的RGB图像、语义和实例分割、深度、光流、CAN总线信号和同步的眼动追踪数据。LAIA支持训练关注注意力的端到端AI驾驶员、预测驾驶员行为、开发检测异常驾驶注意力模式的方法，并提高模型的可解释性。

🔬 方法详解

问题定义：本文旨在解决自动驾驶模型在可解释性方面的不足，现有方法难以理解模型决策背后的原因。

核心思路：通过构建LAIA数据集，收集人类驾驶时的注意力数据，以此作为训练和评估端到端自动驾驶模型的基础，增强模型的可解释性。

技术框架：LAIA数据集包含多个模块，包括RGB图像、语义分割、深度信息、光流、CAN总线信号和眼动追踪数据，所有数据均在闭环环境中采集。

关键创新：LAIA数据集的最大创新在于结合了人类注意力数据与自动驾驶模型的感知能力，提供了一种新的评估和训练方法，区别于传统的仅依赖传感器数据的方式。

关键设计：数据集设计中，参与者在多种天气条件下驾驶，确保数据的多样性和真实感，同时采用同步眼动追踪技术，精确记录注意力分布。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果显示，使用LAIA数据集训练的端到端自动驾驶模型在可解释性方面显著优于传统模型，能够更好地模拟人类驾驶员的注意力分布，提升了模型的决策透明度和用户信任度。

🎯 应用场景

LAIA数据集的潜在应用场景包括自动驾驶系统的训练与评估、驾驶员行为预测、异常驾驶模式检测等。通过提高模型的可解释性，未来可在安全性和用户信任方面产生积极影响，推动自动驾驶技术的广泛应用。

📄 摘要（原文）

The development of autonomous vehicles (AVs) usually relies heavily on data-driven artificial intelligence (AI) models that require large volumes of sensor data with ground-truth annotations. While modular architectures are widely used, end-to-end driving paradigms offer a promising alternative by directly mapping sensor inputs to control actions. However, their adoption is limited by challenges in interpretability and explainability. To address this, we present LAIA (Labelled Attention for Intelligent Automobiles), a novel synthetic dataset designed to enrich end-to-end driving research with human attention data. Collected using the CARLA simulator in closed-loop environments, LAIA comprises over 15 hours of driving from 44 participants across carefully crafted scenarios designed to evoke natural responses. Each sequence includes RGB images under six weather conditions, semantic and instance segmentation, depth, optical flow, CAN bus signals, and synchronized eye-tracking data. LAIA enables applications including training attention-aware end-to-end AI drivers, predicting driver behavior, developing methods to detect anomalous driver-attention patterns, and improving model explainability. In this work, we use LAIA to compare human attention with the perceptual attention emerging in our end-to-end driving models, thereby providing insight into their behavior.