Advantage-Driven Explicit Memory for Social Navigation
作者: Yeonsoo Park, Mattia Racca, Guillaume Bono, Steeven Janny, Gianluca Monaci, Tomi Silander, Christian Wolf
分类: cs.RO
发布日期: 2026-08-26
💡 一句话要点
提出非参数记忆以提升社交导航中的机器人决策能力
🎯 匹配领域: 支柱一：机器人控制 (Robot Control) 支柱二：RL算法与架构 (RL & Architecture) 支柱八：物理动画 (Physics-based Animation)
关键词: 社交导航 非参数记忆 强化学习 持续学习 机器人决策
📋 核心要点
- 现有的机器人学习方法主要依赖于参数化策略，导致在复杂社交环境中表现不佳，尤其是在处理稀疏高成本失败时。
- 本文提出了一种结合非参数记忆的导航代理，通过显式记忆索引关键事件，促进持续学习和更好的泛化能力。
- 实验结果显示，使用该方法的代理在社交行为的OOD适应性上表现出色，显著提高了决策的鲁棒性。
📝 摘要（中文）
机器人策略通常依赖于经典的模仿学习或强化学习的参数化变体，训练过程中仅将代理的行为存储在策略的网络参数中，这对表示学习算法造成了较大负担。本文提出了一种新的导航代理，配备了非参数记忆，明确索引导致关键事件的先前步骤。这种方法的优势在于，它允许策略将部分行为外包到显式记忆中，并通过在部署期间从测试阶段收集数据，促进持续学习，从而更好地适应OOD（域外）情况。在社交导航的背景下，实验表明该方法提高了代理保留稀疏、高成本失败（如与人类碰撞）的能力。通过在模拟环境中训练，部分基于真实数据的决策制定也自然解决了模拟到现实的差距。
🔬 方法详解
问题定义：本文旨在解决机器人在社交导航中因依赖参数化策略而导致的表现不足，尤其是在处理人类碰撞等高成本失败时的能力不足。现有方法未能有效利用历史信息，导致学习效率低下。
核心思路：论文提出的核心思路是引入非参数记忆，允许代理在决策过程中显式地索引和利用先前的关键事件，从而减轻策略网络的负担，并促进持续学习。通过这种方式，代理能够更好地适应复杂的社交环境。
技术框架：整体架构基于递归的PPO（Proximal Policy Optimization）算法，集成了显式记忆模块。该模块通过隐藏状态进行记忆检索，以捕捉连续的时空动态。代理在训练过程中结合了光线追踪渲染和非视觉人群模拟，以增强训练的真实感。
关键创新：最重要的技术创新在于将显式记忆与强化学习相结合，使得代理能够在决策中利用历史数据，从而有效应对稀疏的高影响事件。这一设计与传统方法的根本区别在于，后者通常仅依赖于当前的状态信息。
关键设计：在参数设置上，论文详细描述了显式记忆的结构和检索机制，损失函数的设计也考虑了记忆的有效性。此外，网络结构中引入了隐藏状态以增强对时空动态的捕捉能力。
🖼️ 关键图片
📊 实验亮点
实验结果表明，使用显式记忆的代理在处理社交导航任务时，成功减少了与人类的碰撞事件，提升了决策的鲁棒性。与基线方法相比，该代理在OOD社交行为适应性上表现出显著优势，具体提升幅度未知。
🎯 应用场景
该研究的潜在应用场景包括智能家居、自动驾驶和人机交互等领域，能够显著提升机器人在复杂社交环境中的决策能力和适应性。通过有效利用历史信息，机器人可以更好地理解和预测人类行为，从而提高安全性和用户体验。未来，该方法可能推动更广泛的智能系统在动态环境中的应用。
📄 摘要（原文）
Robot policies are predominantly learned with classical parametric variants of imitation learning or RL, where training stores the agent's behavior exclusively in the policy's network parameters, putting a heavy burden on the representation learning algorithm. We propose a new navigation agent equipped with non-parametric memory which explicitly indexes prior steps leading to critical events. The advantages are twofold: first, it allows the policy to outsource some of its behavior into an explicit memory; second, it encourages a form of continual learning by allowing an agent to collect data from its testing episodes during deployment and therefore to better generalize to OOD situations. In the context of social navigation, we show that this improves the agent's capability to retain sparse, high-cost failures, such as human collisions. If the policy is trained in simulation, this also naturally addresses the sim-to-real gap, partially, by basing some of the decision making on real data. We integrate the explicit memory into a recurrent PPO architecture and use hidden states for memory retrieval to capture continuous spatiotemporal dynamics. The goal of exploiting rare, high-impact events is achieved by leveraging the RL agent's advantage signals. We train our agent in simulation with a combination of photorealistic rendering and non-visual crowd simulation and show that the agent is robust with respect to OOD social behavior.