Beyond Imitation: A Life-long Policy Learning Framework for Path Tracking Control of Autonomous Driving

📄 arXiv: 2404.17198v1 📥 PDF

作者: C. Gong, C. Lu, Z. Li, Z. Liu, J. Gong, X. Chen

分类: cs.RO

发布日期: 2024-04-26

期刊: IEEE Transactions on Vehicular Technology 2024 Pages 1-14

DOI: 10.1109/TVT.2024.3382309

💡 一句话要点

提出终身策略学习框架以解决自主驾驶路径跟踪控制问题

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture)

关键词: 模仿学习 终身学习 自主驾驶 路径跟踪 控制策略 增量学习 知识评估

📋 核心要点

  1. 现有的模仿学习方法在数据质量和数量上存在依赖性，限制了其在复杂环境中的应用。
  2. 提出的终身策略学习框架结合了模仿学习和终身学习，能够在不完美演示下学习最优控制策略。
  3. 实验结果显示，该框架在7公里曲线路径上相较于基线方法实现了最佳的准确性和控制平滑性。

📝 摘要（中文）

近年来，基于模型无关学习的控制方法在避免复杂车辆特性估计和参数调优方面显示出显著优势。作为主要的策略学习方法，模仿学习（IL）能够直接从专家演示中学习控制策略。然而，IL策略的性能高度依赖于数据的充分性和演示的质量。为了解决IL策略的这些问题，本文提出了一种终身策略学习（LLPL）框架，该框架通过终身学习（LLL）扩展了IL方案。首先，提出了一种新颖的基于IL的模型无关控制策略学习方法，能够直接从历史驾驶数据中学习最优控制策略。其次，利用LLL方法，可以安全地更新和微调预训练的IL策略。最后，提出了一种知识评估方法，以避免学习冗余或劣质知识，从而确保在线策略学习的性能提升。实验结果表明，所提LLPL框架能够随着收集的增量驾驶数据持续改善策略性能。

🔬 方法详解

问题定义：本文旨在解决自主驾驶中的路径跟踪控制问题，现有的模仿学习方法在数据质量和数量上存在依赖性，导致其在复杂环境中的应用受限。

核心思路：提出的终身策略学习框架通过结合模仿学习和终身学习，能够在不完美的演示数据下直接从历史驾驶数据中学习最优控制策略，并通过增量知识进行安全更新和微调。

技术框架：该框架主要包括三个模块：模仿学习模块用于初始策略学习，终身学习模块用于策略的增量更新，以及知识评估模块用于确保学习的知识质量。

关键创新：最重要的创新点在于引入了终身学习机制，使得预训练的IL策略能够在实际驾驶过程中不断优化，避免了传统IL方法的局限性。

关键设计：在技术细节上，采用了特定的损失函数来评估策略的性能，并设计了适应性网络结构以处理不同的驾驶场景和数据噪声。通过这些设计，确保了策略学习的高效性和准确性。

📊 实验亮点

实验结果表明，所提出的LLPL框架在7公里曲线路径上实现了最佳的准确性和控制平滑性，相较于其他基线方法，性能提升显著。此外，在处理噪声较大的真实数据时，该框架也展现出良好的适应性和学习能力。

🎯 应用场景

该研究的潜在应用领域包括自动驾驶汽车的路径跟踪控制、智能交通系统以及机器人导航等。其实际价值在于能够在复杂和动态的环境中持续优化控制策略，提高自动驾驶系统的安全性和可靠性。未来，该框架有望在更多实际场景中推广应用，推动智能交通技术的发展。

📄 摘要（原文）

Model-free learning-based control methods have recently shown significant advantages over traditional control methods in avoiding complex vehicle characteristic estimation and parameter tuning. As a primary policy learning method, imitation learning (IL) is capable of learning control policies directly from expert demonstrations. However, the performance of IL policies is highly dependent on the data sufficiency and quality of the demonstrations. To alleviate the above problems of IL-based policies, a lifelong policy learning (LLPL) framework is proposed in this paper, which extends the IL scheme with lifelong learning (LLL). First, a novel IL-based model-free control policy learning method for path tracking is introduced. Even with imperfect demonstration, the optimal control policy can be learned directly from historical driving data. Second, by using the LLL method, the pre-trained IL policy can be safely updated and fine-tuned with incremental execution knowledge. Third, a knowledge evaluation method for policy learning is introduced to avoid learning redundant or inferior knowledge, thus ensuring the performance improvement of online policy learning. Experiments are conducted using a high-fidelity vehicle dynamic model in various scenarios to evaluate the performance of the proposed method. The results show that the proposed LLPL framework can continuously improve the policy performance with collected incremental driving data, and achieves the best accuracy and control smoothness compared to other baseline methods after evolving on a 7 km curved road. Through learning and evaluation with noisy real-life data collected in an off-road environment, the proposed LLPL framework also demonstrates its applicability in learning and evolving in real-life scenarios.