Offline Risk-sensitive RL with Partial Observability to Enhance Performance in Human-Robot Teaming
作者: Giorgio Angelotti, Caroline P. C. Chanel, Adam H. M. Pinto, Christophe Lounis, Corentin Chauffaut, Nicolas Drougard
分类: cs.MA, cs.AI, cs.HC, cs.LG, cs.RO
发布日期: 2024-02-08
备注: Accepted as a full paper at AAMAS 2024
💡 一句话要点
提出风险敏感的离线强化学习以解决人机团队任务分配问题
🎯 匹配领域: 支柱一：机器人控制 (Robot Control) 支柱二：RL算法与架构 (RL & Architecture)
关键词: 离线强化学习 部分可观测马尔可夫决策过程 人机团队 任务分配 生理计算 风险敏感决策 智能机器人
📋 核心要点
- 现有方法在处理多样化人类参与者的生理和行为数据时面临挑战，难以准确估计人类状态。
- 论文提出通过部分可观测的马尔可夫决策过程（POMDP）和离线强化学习（ORL）相结合的方法，来处理人类状态的不确定性。
- 实验结果显示，所提出的自适应任务分配策略在二十六名参与者中表现出显著的性能提升，超越了数据集收集时使用的策略。
📝 摘要（中文）
将生理计算集成到混合主动的人机交互系统中，通过实时特征作为人类状态观察，提升自主任务分配的能力。这种方法可以通过智能分配任务来减轻人类操作员的认知负担。然而，面对多样化的人类参与者及其生理和行为测量的挑战，采用概率框架显得尤为重要。本文提出了一种方法，结合模型不确定性，支持风险敏感的序列决策。实验结果表明，该方法在模拟机器人遥操作环境中显著提升了任务分配策略的有效性。
🔬 方法详解
问题定义：本文旨在解决在多样化人类参与者中进行任务分配时，如何有效估计人类状态的问题。现有方法在处理生理和行为测量的不确定性时存在不足，导致任务分配效率低下。
核心思路：论文提出通过构建部分可观测的马尔可夫决策过程（POMDP）模型，结合离线强化学习（ORL）方法，来处理人类状态的部分可观测性和不确定性，从而实现风险敏感的决策。
技术框架：整体架构包括数据收集、POMDP模型学习、风险敏感决策制定和任务分配四个主要模块。首先收集参与者的生理数据，然后利用这些数据训练POMDP模型，最后基于模型进行任务分配。
关键创新：本研究的关键创新在于引入模型不确定性，使得决策过程能够考虑风险因素，从而提升人机团队的整体任务执行效果。这一方法与传统的强化学习方法相比，能够更好地适应复杂的随机过程。
关键设计：在模型训练中，采用了特定的损失函数来优化状态估计，并设计了适应性任务分配策略。网络结构上，结合了深度学习技术以处理高维生理数据，确保模型的有效性和鲁棒性。
🖼️ 关键图片
📊 实验亮点
实验结果表明，所提出的自适应任务分配策略在二十六名参与者中获得了统计显著的性能提升，得分比用于数据集收集的策略高出显著水平，展示了方法在不同参与者间的良好泛化能力。
🎯 应用场景
该研究具有广泛的应用潜力，尤其在需要人机协作的领域，如救援任务、医疗辅助和工业自动化等。通过提升人机团队的任务分配效率，可以显著提高工作效率和安全性，未来可能推动智能机器人在复杂环境中的应用。
📄 摘要（原文）
The integration of physiological computing into mixed-initiative human-robot interaction systems offers valuable advantages in autonomous task allocation by incorporating real-time features as human state observations into the decision-making system. This approach may alleviate the cognitive load on human operators by intelligently allocating mission tasks between agents. Nevertheless, accommodating a diverse pool of human participants with varying physiological and behavioral measurements presents a substantial challenge. To address this, resorting to a probabilistic framework becomes necessary, given the inherent uncertainty and partial observability on the human's state. Recent research suggests to learn a Partially Observable Markov Decision Process (POMDP) model from a data set of previously collected experiences that can be solved using Offline Reinforcement Learning (ORL) methods. In the present work, we not only highlight the potential of partially observable representations and physiological measurements to improve human operator state estimation and performance, but also enhance the overall mission effectiveness of a human-robot team. Importantly, as the fixed data set may not contain enough information to fully represent complex stochastic processes, we propose a method to incorporate model uncertainty, thus enabling risk-sensitive sequential decision-making. Experiments were conducted with a group of twenty-six human participants within a simulated robot teleoperation environment, yielding empirical evidence of the method's efficacy. The obtained adaptive task allocation policy led to statistically significant higher scores than the one that was used to collect the data set, allowing for generalization across diverse participants also taking into account risk-sensitive metrics.