Reacting like Humans: Incorporating Intrinsic Human Behaviors into NAO through Sound-Based Reactions to Fearful and Shocking Events for Enhanced Sociability
作者: Ali Ghadami, Mohammadreza Taghimohammadi, Mohammad Mohammadzadeh, Mohammad Hosseinipour, Alireza Taheri
分类: cs.RO, cs.AI, cs.LG, cs.SD, eess.AS, eess.IV
发布日期: 2023-12-12 (更新: 2024-06-05)
备注: 16 pages, 11 figures
💡 一句话要点
通过声音驱动的恐惧反应，提升NAO机器人的类人社交能力
🎯 匹配领域: 支柱四：生成式动作 (Generative Motion)
关键词: 社交机器人 类人行为 情感计算 多模态融合 LSTM网络 声音识别 目标检测
📋 核心要点
- 现有机器人缺乏对突发事件的自然反应，降低了其社交能力和用户接受度。
- 设计多模态系统，融合声音分类、目标检测和动作生成，使机器人能够对突发巨响产生类人恐惧反应。
- 实验表明，该模块能有效提升NAO机器人的类人行为表现，尤其在非专家用户中获得较高评价。
📝 摘要（中文）
为了提升机器人在人类中的接受度和社交能力，本研究致力于将类人反应融入机器人。人类能够对环境事件做出快速且无意识的反应，例如对突发巨响产生惊吓或恐惧。在这些时刻，人们会本能地移动双手，转向声源，并试图确定事件的原因。这种内在行为促使我们探索社交机器人领域中这个较少被研究的部分。本研究设计了一个多模态系统，由动作生成器、声音分类器和YOLO目标检测器组成，用于感知环境，并在出现突发巨响时，表现出自然的类人恐惧反应，并定位环境中引起恐惧的声音源。这些生成的有效动作和推断可以模仿内在的人类反应，并增强机器人的社交能力。对于动作生成，提出了一个基于LSTM和MDN网络的模型来合成各种动作。此外，在声音检测方面，优先选择使用声音信号频谱作为输入的迁移学习模型。在开发了用于声音检测、动作生成和图像识别的各个模型后，它们被集成到一个在NAO机器人上实现的综合“恐惧”模块中。最后，在实际应用中测试了恐惧模块，两组专家和非专家（机器人领域的）填写了一份问卷，以评估机器人的性能。结果表明，所提出的模块可以说服参与者，当机器人的周边环境中出现突发巨响时，Nao机器人会像人类一样行动和推理，并且还表明非专家对社交机器人及其性能有更高的期望。
🔬 方法详解
问题定义：论文旨在解决机器人缺乏对突发事件（特别是突发巨响）的自然反应的问题。现有机器人通常对环境刺激反应迟缓或不自然，导致用户觉得机器人不够智能和可信，从而降低了其社交能力和接受度。
核心思路：论文的核心思路是模仿人类对突发巨响的本能反应，包括身体动作（如移动双手、转向声源）和认知过程（如识别声源）。通过让机器人表现出类似的反应，可以增强其类人行为，提高用户的信任感和亲近感。
技术框架：该系统采用多模态架构，包含以下主要模块：1) 声音分类器：用于检测和识别突发巨响。2) YOLO目标检测器：用于识别声源的位置。3) 动作生成器：基于LSTM和MDN网络，生成与恐惧反应相关的身体动作。整体流程是：当声音分类器检测到突发巨响时，YOLO目标检测器尝试定位声源，然后动作生成器根据声音类型和声源位置生成相应的动作，使机器人表现出恐惧反应。
关键创新：该研究的关键创新在于将声音分类、目标检测和动作生成相结合，构建了一个完整的、可用于机器人恐惧反应的系统。此外，使用LSTM和MDN网络进行动作生成，可以产生更加多样化和自然的动作。
关键设计：声音分类器采用迁移学习方法，使用声音信号的频谱图作为输入。动作生成器使用LSTM网络学习人类恐惧反应的动作序列，并使用MDN网络预测动作的概率分布，从而生成多样化的动作。YOLO目标检测器用于识别图像中的物体，从而确定声源的位置。具体参数设置和损失函数等细节在论文中未详细说明，属于未知信息。
📊 实验亮点
通过用户问卷调查，研究表明该“恐惧”模块能够有效提升NAO机器人的类人行为表现。专家和非专家用户均认为，装备该模块的NAO机器人在面对突发巨响时，表现出更像人类的反应和推理能力。值得注意的是，非专家用户对社交机器人的期望更高，这表明该领域仍有很大的发展空间。
🎯 应用场景
该研究成果可应用于各种服务型机器人，例如家庭助手、导游机器人和陪伴机器人。通过赋予机器人对突发事件的自然反应能力，可以显著提升其社交能力和用户体验，使其在复杂环境中更好地与人类互动。未来，该技术还可扩展到其他情绪反应，使机器人更加智能化和人性化。
📄 摘要（原文）
Robots' acceptability among humans and their sociability can be significantly enhanced by incorporating human-like reactions. Humans can react to environmental events very quickly and without thinking. An instance where humans show natural reactions is when they encounter a sudden and loud sound that startles or frightens them. During such moments, individuals may instinctively move their hands, turn toward the origin of the sound, and try to determine the event's cause. This inherent behavior motivated us to explore this less-studied part of social robotics. In this work, a multi-modal system composed of an action generator, sound classifier, and YOLO object detector was designed to sense the environment and, in the presence of sudden loud sounds, show natural human fear reactions; and finally, locate the fear-causing sound source in the environment. These valid generated motions and inferences could imitate intrinsic human reactions and enhance the sociability of robots. For motion generation, a model based on LSTM and MDN networks was proposed to synthesize various motions. Also, in the case of sound detection, a transfer learning model was preferred that used the spectrogram of the sound signals as its input. After developing individual models for sound detection, motion generation, and image recognition, they were integrated into a comprehensive "fear" module implemented on the NAO robot. Finally, the fear module was tested in practical application and two groups of experts and non-experts (in the robotics area) filled out a questionnaire to evaluate the performance of the robot. We indicated that the proposed module could convince the participants that the Nao robot acts and reasons like a human when a sudden and loud sound is in the robot's peripheral environment, and additionally showed that non-experts have higher expectations about social robots and their performance.