Evaluating the Impact of Personalized Value Alignment in Human-Robot Interaction: Insights into Trust and Team Performance Outcomes

📄 arXiv: 2311.16051v1 📥 PDF

作者: Shreyas Bhat, Joseph B. Lyons, Cong Shi, X. Jessie Yang

分类: cs.RO

发布日期: 2023-11-27

备注: 10 pages, 9 figures, to be published in ACM/IEEE International Conference on Human Robot Interaction. arXiv admin note: text overlap with arXiv:2309.05179

💡 一句话要点

提出个性化价值对齐以提升人机交互中的信任与团队表现

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture)

关键词: 人机交互 个性化对齐 信任感 团队表现 贝叶斯逆强化学习 马尔可夫决策过程 机器人学习

📋 核心要点

  1. 现有方法在机器人与人类的交互中，缺乏对人类价值观的实时个性化对齐，导致信任和团队表现不足。
  2. 论文提出通过三种不同的机器人交互策略，探索个性化价值对齐对信任和团队表现的影响，特别是在缺乏信息先验的情况下。
  3. 实验结果显示，在缺乏信息先验时，个性化对齐显著提升了信任感和感知表现，而在有信息先验时则未见明显改善。

📝 摘要（中文）

本文研究了机器人实时个性化对齐人类价值观的奖励函数对信任和团队表现的影响。我们比较了三种不同的机器人交互策略：非学习策略、非自适应学习策略和自适应学习策略。通过两项包含54名参与者的实验，团队在城镇中搜索潜在威胁。我们将人机交互建模为信任感知的马尔可夫决策过程，并使用贝叶斯逆强化学习来估计人类的奖励权重。结果表明，当以良好的信息先验开始时，个性化价值对齐对信任或团队表现没有显著益处；而在缺乏信息先验时，对齐人类价值观则能显著提升信任感和感知表现，同时保持相同的客观团队表现。

🔬 方法详解

问题定义：本文旨在解决机器人与人类交互中，缺乏个性化价值对齐所导致的信任和团队表现不足的问题。现有方法未能有效考虑人类的价值观，影响了人机协作的效果。

核心思路：论文提出通过三种不同的交互策略来实现机器人对人类价值观的个性化对齐，重点在于如何通过学习人类的奖励函数来提升信任感和团队表现。

技术框架：整体架构包括信任感知的马尔可夫决策过程（MDP）和贝叶斯逆强化学习（IRL）。机器人通过学习人类的奖励函数来调整自身的行为策略，分为非学习、非自适应学习和自适应学习三种策略。

关键创新：最重要的创新在于引入个性化价值对齐的概念，并通过实验验证其在不同信息先验条件下对信任和团队表现的影响，特别是在缺乏信息先验时的显著提升。

关键设计：在实验中，使用了信任感知的MDP模型和贝叶斯IRL算法，设计了不同的学习策略，并通过两项实验对比分析了不同策略下的信任和表现指标。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果表明，在缺乏信息先验的情况下，个性化价值对齐显著提升了信任感和感知表现，参与者对团队表现的感知提高了，而在有信息先验的情况下未见显著改善。这一发现为人机交互设计提供了新的视角。

🎯 应用场景

该研究的潜在应用领域包括智能机器人、自动驾驶汽车和人机协作系统等。通过提升人机交互中的信任感和团队表现，能够有效改善这些系统的工作效率和安全性，具有重要的实际价值和未来影响。

📄 摘要（原文）

This paper examines the effect of real-time, personalized alignment of a robot's reward function to the human's values on trust and team performance. We present and compare three distinct robot interaction strategies: a non-learner strategy where the robot presumes the human's reward function mirrors its own, a non-adaptive-learner strategy in which the robot learns the human's reward function for trust estimation and human behavior modeling, but still optimizes its own reward function, and an adaptive-learner strategy in which the robot learns the human's reward function and adopts it as its own. Two human-subject experiments with a total number of 54 participants were conducted. In both experiments, the human-robot team searches for potential threats in a town. The team sequentially goes through search sites to look for threats. We model the interaction between the human and the robot as a trust-aware Markov Decision Process (trust-aware MDP) and use Bayesian Inverse Reinforcement Learning (IRL) to estimate the reward weights of the human as they interact with the robot. In Experiment 1, we start our learning algorithm with an informed prior of the human's values/goals. In Experiment 2, we start the learning algorithm with an uninformed prior. Results indicate that when starting with a good informed prior, personalized value alignment does not seem to benefit trust or team performance. On the other hand, when an informed prior is unavailable, alignment to the human's values leads to high trust and higher perceived performance while maintaining the same objective team performance.