Designing a skilled soccer team for RoboCup: exploring skill-set-primitives through reinforcement learning

📄 arXiv: 2312.14360v2 📥 PDF

作者: Miguel Abreu, Luis Paulo Reis, Nuno Lau

分类: cs.RO

发布日期: 2023-12-22 (更新: 2025-05-25)

备注: Codebase release at https://github.com/m-abr/FCPCodebase

期刊: Neural Computing and Applications (2025)

DOI: 10.1007/s00521-025-11151-3

💡 一句话要点

FC Portugal 提出基于强化学习的 RoboCup 足球技能集原语设计方案

🎯 匹配领域: 支柱一：机器人控制 (Robot Control) 支柱二：RL算法与架构 (RL & Architecture)

关键词: RoboCup 3D 足球仿真 强化学习 技能集原语 Proximal Policy Optimization 多智能体学习 机器人控制

📋 核心要点

  1. RoboCup 3D 足球仿真联赛对自主人形机器人提出了高挑战，现有方法在技能泛化和效率上存在不足。
  2. FC Portugal 团队提出了一种基于技能集原语的强化学习方法，旨在提高样本效率和技能的稳定性，实现无缝技能过渡。
  3. 该方法在 RoboCup 比赛中取得了显著成果，FC Portugal 团队连续两年（2022 年和 2023 年）赢得冠军，验证了方法的有效性。

📝 摘要（中文）

本文介绍了 FC Portugal 团队在 RoboCup 3D 足球仿真联赛中的创新。该团队在 RoboCup 2021 后从零开始使用 Python 开发了新的代码库。团队的性能依赖于一套以新型统一原语为中心的技能，以及 Proximal Policy Optimization 算法的自定义对称扩展版本。这些方法已经在官方 RoboCup 比赛中经过了彻底的测试，FC Portugal 赢得了 2022 年和 2023 年的两次主要比赛。本文介绍了团队的训练框架，以及使用技能集原语开发的技能时间表，这些原语显著提高了技能的样本效率和稳定性，并促进了无缝过渡。从 2021 年开发的快速冲刺踢开始，逐步发展到最新的技能集，包括多用途全向行走、具有前所未有的控球能力的运球、扎实的踢球和推球技能。推球解决了低级碰撞场景和高级策略，以增加控球率。通过创新的多智能体学习方法解决了这项任务的资源密集型性质。最后，我们将团队的代码库发布给 RoboCup 社区，为其他团队提供了一个强大而现代的基础，他们可以在此基础上构建新功能。

🔬 方法详解

问题定义：RoboCup 3D 足球仿真联赛中，如何设计高效、稳定的机器人足球技能，并实现技能之间的平滑过渡是一个关键问题。现有方法通常存在样本效率低、技能泛化能力差以及技能切换不流畅等痛点。

核心思路：本文的核心思路是引入“技能集原语”的概念，将复杂的足球技能分解为一系列基础的、可复用的原语动作。通过强化学习训练这些原语，并设计合理的技能组合策略，从而实现高效、稳定的技能表现和流畅的技能过渡。这种方法类似于程序设计中的模块化思想，旨在降低技能开发的复杂性，提高技能的泛化能力。

技术框架：该团队的整体框架包含以下几个主要模块：1) 技能集原语定义：定义一系列基础的足球动作，如行走、踢球、运球、推球等。2) 强化学习训练：使用 Proximal Policy Optimization (PPO) 算法的自定义对称扩展版本，训练每个技能原语。3) 技能组合策略：设计合理的策略，将不同的技能原语组合起来，完成更复杂的足球动作。4) 多智能体学习：采用多智能体学习方法，解决资源密集型问题，提高训练效率。

关键创新：该论文最重要的技术创新点在于“技能集原语”的概念和应用。通过将复杂的足球技能分解为一系列基础原语，降低了技能开发的难度，提高了技能的泛化能力和可复用性。此外，自定义对称扩展的 PPO 算法也可能是一个创新点，但论文中没有详细描述。

关键设计：论文中提到了一些关键设计，包括：1) 使用 Python 从零开始开发代码库，保证了代码的灵活性和可维护性。2) 自定义对称扩展的 PPO 算法，可能针对足球仿真环境的特点进行了优化。3) 多智能体学习方法，用于提高训练效率。4) 针对低级碰撞场景和高级策略的推球技能设计，旨在增加控球率。但具体的参数设置、损失函数、网络结构等技术细节并未在论文中详细描述。

📊 实验亮点

FC Portugal 团队在 RoboCup 3D 足球仿真联赛中连续两年（2022 年和 2023 年）赢得冠军，证明了该方法的有效性。论文中提到，该方法显著提高了技能的样本效率和稳定性，并促进了无缝过渡。具体性能数据和对比基线未在摘要中给出，需要查阅论文全文。

🎯 应用场景

该研究成果可应用于机器人足球比赛，提高机器人球队的竞技水平。此外，其提出的技能集原语和强化学习方法，也可推广到其他机器人控制领域，如服务机器人、工业机器人等，实现更复杂、更智能的机器人行为。

📄 摘要（原文）

The RoboCup 3D Soccer Simulation League serves as a competitive platform for showcasing innovation in autonomous humanoid robot agents through simulated soccer matches. Our team, FC Portugal, developed a new codebase from scratch in Python after RoboCup 2021. The team's performance relies on a set of skills centered around novel unifying primitives and a custom, symmetry-extended version of the Proximal Policy Optimization algorithm. Our methods have been thoroughly tested in official RoboCup matches, where FC Portugal has won the last two main competitions, in 2022 and 2023. This paper presents our training framework, as well as a timeline of skills developed using our skill-set-primitives, which considerably improve the sample efficiency and stability of skills, and motivate seamless transitions. We start with a significantly fast sprint-kick developed in 2021 and progress to the most recent skill set, including a multi-purpose omnidirectional walk, a dribble with unprecedented ball control, a solid kick, and a push skill. The push addresses low-level collision scenarios and high-level strategies to increase ball possession. We address the resource-intensive nature of this task through an innovative multi-agent learning approach. Finally, we release the team's codebase to the RoboCup community, providing other teams with a robust and modern foundation upon which they can build new features.