KinematicRL: A Sim-to-Real Reinforcement Learning Framework For Social Navigation With Kinodynamic Feasibility
作者: Zhiming Xu, Haodong Yang, Chengju Liu, Qijun Chen, Chenpeng Yao
分类: cs.RO
发布日期: 2026-06-10
备注: Accepted by IEEE Transactions on Automation Science and Engineering (T-ASE)
💡 一句话要点
提出KinematicRL框架以解决社交导航中的动态可行性问题
🎯 匹配领域: 支柱一：机器人控制 (Robot Control) 支柱二：RL算法与架构 (RL & Architecture)
关键词: 深度强化学习 社交导航 动态可行性 人类跟踪 差分驱动机器人 高阶控制 2D LiDAR
📋 核心要点
- 现有的社交导航方法在真实环境中的应用受到模拟与现实之间的差距限制，尤其是在动态可行性和人类状态估计方面。
- 本文提出KinematicRL框架，通过高阶控制输入和基于2D LiDAR的人类跟踪管道，解决了动态可行性和复杂性问题。
- 实验结果表明，KinematicRL在真实环境中表现优异，能够适应不同数量的人类检测，提升了运动性能。
📝 摘要（中文）
深度强化学习（DRL）在社交导航中展现出潜力，但其在现实世界的应用受到模拟与现实之间的差距限制，主要源于简化的一阶动态和特定上下文的人类状态估计管道。本文提出了一个统一框架，旨在解决这些限制，生成适合现实世界部署的动态可行导航策略。通过理论分析，发现模拟与实际机器人位置之间的跟踪误差随着控制阶数的增加呈指数衰减，促使我们将高阶控制输入作为DRL的动作空间。我们开发了针对差分驱动机器人的二阶控制形式，并通过随机迭代线性二次调节器（iLQR）进行预训练。其次，提出了一种仅使用2D LiDAR的基于聚类的人类跟踪管道，以避免相机与LiDAR融合带来的系统复杂性。最后，引入了一种无偏残差门控块，以平衡反应和记忆行为，适应变化的人群规模。实验表明，KinematicRL在现实环境中表现出色，能够在最小修改下部署于真实的差分驱动机器人。
🔬 方法详解
问题定义：本文旨在解决社交导航中的动态可行性问题，现有方法在模拟与现实之间存在显著差距，尤其是在控制动态和人类状态估计方面存在不足。
核心思路：通过引入高阶控制输入作为DRL的动作空间，并结合基于2D LiDAR的人类跟踪管道，来提高导航策略的动态可行性和系统的简化。
技术框架：整体框架包括三个主要模块：高阶控制输入的设计、基于聚类的2D LiDAR人类跟踪管道，以及无偏残差门控块的引入，形成一个统一的社交导航策略。
关键创新：最重要的创新在于将高阶控制输入引入DRL框架，并通过无偏残差门控块有效平衡反应和记忆行为，适应动态变化的人群规模。
关键设计：在技术细节上，采用了二阶控制形式和随机迭代线性二次调节器（iLQR）进行策略预训练，此外，聚类算法用于人类检测的关联，确保了稳定的速度估计。
🖼️ 关键图片
📊 实验亮点
实验结果显示，KinematicRL在真实环境中的导航性能显著提升，相较于基线方法，运动性能提高了XX%（具体数据未知），并且能够稳定适应不同数量的检测人类，展示了良好的实用性和适应性。
🎯 应用场景
KinematicRL框架具有广泛的应用潜力，特别是在智能机器人、自动驾驶和人机交互等领域。其动态可行的导航策略能够有效提升机器人在复杂社交环境中的自主导航能力，推动相关技术的实际应用和发展。
📄 摘要（原文）
Deep Reinforcement Learning (DRL) has shown promise for social navigation, yet its real-world deployment remains hindered by a persistent sim-to-real gap arising from simplified first-order dynamics and context-specific human state estimation pipelines. This work presents a unified framework that addresses these limitations to produce dynamically feasible navigation policies suitable for real-world deployment. First, theoretical analysis reveals that tracking error between simulated and actual robot position decays exponentially with increased control order, motivating the use of higher-order control inputs as DRL action space. A second-order control formulation tailored to differential drive robots is developed, complemented by a stochastic iterative Linear Quadratic Regulator (iLQR) that pretrains the policy via a divergence minimization objective. Second, to avoid the added system complexity of camera-LiDAR fusion, a cluster-based human tracking pipeline using only 2D LiDAR is introduced. Human detections are associated according to both spatial proximity and velocity similarity, enabling reliable differentiation of nearby pedestrians and yielding stable velocity estimates through temporal aggregation. Third, we introduce an unbiased residual gating block to balance reaction- and memory-based behaviors while handling time-varying crowd sizes, both critical for social navigation. The resulting policy, KinematicRL, consistently improves kinematic performance and adapts to varying number of detected humans. Experiments in real-world environments demonstrate that, when combined with the proposed tracking pipeline, KinematicRL can be deployed on a real differential drive robot with minimal modifications.