Reinforcement Learning of Multi-robot Task Allocation for Multi-object Transportation with Infeasible Tasks
作者: Yuma Shida, Tomohiko Jimbo, Tadashi Odashima, Takamitsu Matsubara
分类: cs.RO
发布日期: 2024-04-18 (更新: 2025-02-19)
备注: 8 pages, 10 figures
期刊: 2025 IEEE/SICE International Symposium on System Integration (SII), 2025, pp. 1548-1555
DOI: 10.1109/SII59315.2025.10870902
💡 一句话要点
提出动态任务分配框架以解决多机器人运输中的不可行任务问题
🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture)
关键词: 多机器人系统 任务分配 动态调度 不可行任务 死锁避免 云计算 经验学习
📋 核心要点
- 现有方法在处理未知重量物体的运输任务时面临挑战，尤其是不可行任务可能导致机器人死锁。
- 本文提出了一种动态任务分配框架，通过云端存储和广播任务经验，使机器人能够排除不可行任务并调整任务优先级。
- 实验结果表明，该方法在增加机器人和物体数量时仍能保持良好的性能，并有效避免临时死锁。
📝 摘要（中文）
多机器人系统在多物体运输中具有广泛的应用潜力，如配送服务，因其高效的个体和可扩展的协作运输能力。然而，如何分配未知重量物体的运输任务仍然是一个挑战。此外，不可行任务（不可运输物体）的存在可能导致机器人停滞（死锁）。本文提出了一种动态任务分配框架，通过以可扩展的方式存储每个任务的经验，解决了这一问题。该框架通过云服务器广播任务经验，使每个机器人能够学习每个任务的排除级别，从而排除不可行任务并重置任务优先级。最后，通过数值实验验证了该方法的可扩展性和多样性。
🔬 方法详解
问题定义：本文旨在解决多机器人系统在多物体运输中面临的任务分配问题，尤其是如何处理未知重量物体和不可行任务导致的死锁现象。现有方法在这方面存在不足，无法有效应对不可行任务的影响。
核心思路：论文提出的核心思路是通过云端存储和广播任务经验，使每个机器人能够学习任务的排除级别，从而动态调整任务优先级，避免不可行任务的干扰。
技术框架：整体架构包括三个主要模块：任务经验的存储与广播、机器人对任务经验的学习、以及基于学习结果的任务优先级调整。首先，任务经验从云服务器广播到所有机器人；然后，机器人根据这些经验学习每个任务的排除级别；最后，机器人能够排除不可行任务并重置任务优先级。
关键创新：最重要的技术创新在于提出了一种动态的任务分配机制，能够在没有先验可行性考虑的情况下，针对不同数量的机器人和运输任务进行有效的任务分配。这一方法显著提升了多机器人系统的灵活性和适应性。
关键设计：在设计中，关键参数包括任务经验的存储方式、学习算法的选择以及任务优先级的调整策略。具体的损失函数和网络结构细节在实验部分进行了详细描述，以确保系统的高效性和可扩展性。
🖼️ 关键图片
📊 实验亮点
实验结果显示，提出的方法在增加机器人和物体数量时，依然能够保持高效的任务分配性能。通过引入额外机器人，成功避免了临时死锁，验证了方法的有效性和可扩展性。
🎯 应用场景
该研究的潜在应用领域包括物流配送、仓储管理和救援任务等场景，能够有效提升多机器人系统在复杂环境下的任务执行能力。未来，该方法有望在实际应用中实现更高效的资源利用和任务调度，推动智能物流和自动化领域的发展。
📄 摘要（原文）
Multi-object transport using multi-robot systems has the potential for diverse practical applications such as delivery services owing to its efficient individual and scalable cooperative transport. However, allocating transportation tasks of objects with unknown weights remains challenging. Moreover, the presence of infeasible tasks (untransportable objects) can lead to robot stoppage (deadlock). This paper proposes a framework for dynamic task allocation that involves storing task experiences for each task in a scalable manner with respect to the number of robots. First, these experiences are broadcasted from the cloud server to the entire robot system. Subsequently, each robot learns the exclusion levels for each task based on those task experiences, enabling it to exclude infeasible tasks and reset its task priorities. Finally, individual transportation, cooperative transportation, and the temporary exclusion of tasks considered infeasible are achieved. The scalability and versatility of the proposed method were confirmed through numerical experiments with an increased number of robots and objects, including unlearned weight objects. The effectiveness of the temporary deadlock avoidance was also confirmed by introducing additional robots within an episode. The proposed method enables the implementation of task allocation strategies that are feasible for different numbers of robots and various transport tasks without prior consideration of feasibility.