RFM-HRI : A Multimodal Dataset of Medical Robot Failure, User Reaction and Recovery Preferences for Item Retrieval Tasks
作者: Yashika Batra, Giuliano Pioldi, Promise Ekpo, Arman Sayatqyzy, Purnjay Maruur, Shalom Otieno, Kevin Ching, Angelique Taylor
分类: cs.RO, cs.HC
发布日期: 2026-03-05
💡 一句话要点
RFM-HRI：针对医疗机器人故障，用户反应及恢复偏好的多模态数据集
🎯 匹配领域: 支柱五：交互与反应 (Interaction & Reaction) 支柱九：具身大模型 (Embodied Foundation Models)
关键词: 人机交互 医疗机器人 故障恢复 多模态数据集 情感识别
📋 核心要点
- 现有的人机交互研究对机器人故障发生时，用户的言语和非言语行为反应关注不足，尤其是在医疗场景下。
- 本研究通过构建急救车机器人交互场景，系统性地引入多种通信故障，并记录用户的多模态反应数据。
- 实验结果表明，机器人故障会显著降低用户的情感效价和感知控制，并引发负面情绪，为故障检测和恢复提供了基础。
📝 摘要（中文）
现实环境中部署的机器人不可避免地会遇到交互故障。本研究关注人机交互(HRI)中，用户如何通过言语和非言语行为对故障做出反应。特别是在医疗保健环境中，交互故障会直接影响任务表现和用户信任。我们提出了医疗HRI机器人故障(RFM-HRI)数据集，该数据集捕捉了人类与以急救车形式呈现的机器人之间的交互，并在物品检索任务期间系统性地引入了通信故障。通过在实验室和医院环境中对41名参与者进行的Wizard-of-Oz研究，我们记录了对四种故障类型（语音、时序、理解和搜索）的反应，这些故障类型来源于三年的急救车机器人交互数据。该数据集包含214个交互样本，包括面部动作单元、头部姿势、语音记录和交互后自我报告。分析表明，与成功的交互相比，故障会显著降低情感效价并减少感知控制。故障与困惑、恼怒和沮丧密切相关，而成功的交互则以惊讶、宽慰和对任务完成的信心为特征。情感反应也会随着重复的故障而演变，随着时间的推移，困惑感会减少，而沮丧感会增加。这项工作贡献了(1)一个公开可用的多模态数据集(RFM-HRI)，(2)对用户对不同故障类型的反应和首选恢复策略的分析，以及(3)一个急救车检索场景，可以系统地比较恢复策略，对安全关键型故障恢复具有重要意义。我们的发现为具身HRI中的故障检测和恢复方法奠定了基础。
🔬 方法详解
问题定义：现有的人机交互研究，尤其是在医疗机器人领域，缺乏对机器人交互故障发生时用户反应的深入理解。现有的方法难以捕捉用户在面对不同类型故障时的细微情感变化和行为模式，从而限制了机器人故障检测和恢复策略的有效性。
核心思路：本研究的核心思路是通过构建一个可控的实验环境，系统性地引入不同类型的机器人交互故障，并记录用户的多模态反应数据，包括面部表情、头部姿势、语音和自我报告。通过分析这些数据，可以深入了解用户对不同故障类型的反应模式，从而为开发更有效的故障检测和恢复策略提供依据。
技术框架：该研究采用Wizard-of-Oz方法，构建了一个急救车机器人交互场景。实验流程包括：1) 招募参与者并在实验室或医院环境中进行实验；2) 机器人执行物品检索任务，并在任务过程中系统性地引入四种类型的故障（语音、时序、理解和搜索）；3) 记录参与者的多模态数据，包括面部动作单元、头部姿势、语音记录和交互后自我报告；4) 对收集到的数据进行分析，以识别用户对不同故障类型的反应模式。
关键创新：该研究的关键创新在于构建了一个专门针对医疗机器人交互故障的多模态数据集（RFM-HRI）。该数据集包含了丰富的用户反应数据，涵盖了多种故障类型和实验环境，为研究人员提供了一个宝贵的资源，可以用于开发更有效的故障检测和恢复算法。与现有方法相比，该数据集更加关注用户的情感反应和行为模式，从而可以更全面地了解机器人交互故障的影响。
关键设计：实验中，四种故障类型（语音、时序、理解和搜索）的设计参考了三年急救车机器人交互数据。Wizard-of-Oz方法允许研究人员模拟各种机器人行为，包括故障情况，同时收集真实的用户反应。数据集包含了面部动作单元（Facial Action Units），头部姿势，语音转录以及交互后的自我报告，这些数据为多模态分析提供了基础。
🖼️ 关键图片
📊 实验亮点
实验结果表明，机器人故障会显著降低用户的情感效价和感知控制。与成功的交互相比，故障与困惑、恼怒和沮丧等负面情绪密切相关。情感反应也会随着重复的故障而演变，随着时间的推移，困惑感会减少，而沮丧感会增加。这些发现为开发更有效的故障检测和恢复策略提供了依据。
🎯 应用场景
该研究成果可应用于医疗机器人、服务机器人等领域，提升机器人与用户交互的鲁棒性和用户体验。通过理解用户对不同故障的反应，可以开发更智能的故障检测和恢复策略，提高机器人在实际应用中的可靠性和安全性。此外，该数据集也为情感计算、人机交互等领域的研究提供了宝贵的数据资源。
📄 摘要（原文）
While robots deployed in real-world environments inevitably experience interaction failures, understanding how users respond through verbal and non-verbal behaviors remains under-explored in human-robot interaction (HRI). This gap is particularly significant in healthcare-inspired settings, where interaction failures can directly affect task performance and user trust. We present the Robot Failures in Medical HRI (RFM-HRI) Dataset, a multimodal dataset capturing dyadic interactions between humans and robots embodied in crash carts, where communication failures are systematically induced during item retrieval tasks. Through Wizard-of-Oz studies with 41 participants across laboratory and hospital settings, we recorded responses to four failure types (speech, timing, comprehension, and search) derived from three years of crash-cart robot interaction data. The dataset contains 214 interaction samples including facial action units, head pose, speech transcripts, and post-interaction self-reports. Our analysis shows that failures significantly degrade affective valence and reduce perceived control compared to successful interactions. Failures are strongly associated with confusion, annoyance, and frustration, while successful interactions are characterized by surprise, relief, and confidence in task completion. Emotional responses also evolve across repeated failures, with confusion decreasing and frustration increasing over time. This work contributes (1) a publicly available multimodal dataset (RFM-HRI), (2) analysis of user responses to different failure types and preferred recovery strategies, and (3) a crash-cart retrieval scenario enabling systematic comparison of recovery strategies with implications for safety-critical failure recovery. Our findings provide a foundation for failure detection and recovery methods in embodied HRI.