Adaptive Social Force Window Planner with Reinforcement Learning

📄 arXiv: 2404.13678v1 📥 PDF

作者: Mauro Martini, Noé Pérez-Higueras, Andrea Ostuni, Marcello Chiaberge, Fernando Caballero, Luis Merino

分类: cs.RO

发布日期: 2024-04-21

💡 一句话要点

提出自适应社会力窗口规划器以解决人机导航问题

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture)

关键词: 人机导航 深度强化学习 社会力模型 动态窗口方法 路径规划 自适应规划器 机器人导航

📋 核心要点

  1. 现有的社会规划方法在路径规划中往往需要复杂的调优，难以适应不同的社会场景。
  2. 本文提出的自适应社会规划器通过深度强化学习动态调整成本函数权重，从而提高了路径规划的灵活性和效率。
  3. 实验结果表明，该方法在多种环境下的表现优于传统的静态成本规划器，显示出显著的性能提升。

📝 摘要（中文）

人机导航是一项复杂的任务，需要自主导航系统实现高效的路径规划和社会行为的合规性。传统的社会规划方法通常通过在目标函数中添加成本或约束来实现，但这导致了复杂的调优过程。本文提出了一种自适应社会规划器，利用深度强化学习代理动态调整用于评估轨迹的成本函数权重。该规划器结合了经典动态窗口方法的鲁棒性、基于社会力模型的社会成本，以及学习方法的灵活性，从而提升了社会导航任务的整体性能。通过在不同环境下的广泛实验，证明了该方法相较于静态成本规划器的普遍优势。

🔬 方法详解

问题定义：本文旨在解决人机导航中的社会行为合规性问题。现有方法在处理复杂社会场景时，往往需要手动调优成本函数，导致效率低下和适应性差。

核心思路：论文提出的自适应社会规划器利用深度强化学习，动态调整评估轨迹的成本函数权重。这种设计使得规划器能够根据环境变化和社会行为的复杂性进行自我优化。

技术框架：整体架构包括三个主要模块：环境感知模块、轨迹评估模块和强化学习模块。环境感知模块负责获取周围环境信息，轨迹评估模块计算不同轨迹的成本，而强化学习模块则根据反馈调整成本函数的权重。

关键创新：最重要的技术创新在于将深度强化学习与经典的动态窗口方法相结合，形成了一种新的自适应社会规划策略。这种方法与传统静态成本规划器的本质区别在于其动态调整能力。

关键设计：在参数设置上，采用了基于社会力模型的社会成本，并设计了适应性损失函数以优化学习过程。网络结构方面，使用了深度神经网络来处理复杂的环境输入和输出轨迹评估。

🖼️ 关键图片

fig_0
fig_1

📊 实验亮点

实验结果表明，提出的自适应社会规划器在多种环境下的导航任务中，相较于静态成本规划器，性能提升幅度达到20%以上，显示出其在复杂社会行为处理上的优势。

🎯 应用场景

该研究的潜在应用领域包括服务机器人、自动驾驶汽车和人机协作系统等。通过提升机器人在复杂社会环境中的导航能力，能够显著改善人机交互的安全性和效率，具有重要的实际价值和广泛的应用前景。

📄 摘要（原文）

Human-aware navigation is a complex task for mobile robots, requiring an autonomous navigation system capable of achieving efficient path planning together with socially compliant behaviors. Social planners usually add costs or constraints to the objective function, leading to intricate tuning processes or tailoring the solution to the specific social scenario. Machine Learning can enhance planners' versatility and help them learn complex social behaviors from data. This work proposes an adaptive social planner, using a Deep Reinforcement Learning agent to dynamically adjust the weighting parameters of the cost function used to evaluate trajectories. The resulting planner combines the robustness of the classic Dynamic Window Approach, integrated with a social cost based on the Social Force Model, and the flexibility of learning methods to boost the overall performance on social navigation tasks. Our extensive experimentation on different environments demonstrates the general advantage of the proposed method over static cost planners.