Does ChatGPT and Whisper Make Humanoid Robots More Relatable?

📄 arXiv: 2402.07095v1 📥 PDF

作者: Xiaohui Chen, Katherine Luo, Trevor Gee, Mahla Nejati

分类: cs.RO, cs.HC

发布日期: 2024-02-11

备注: Published in Australasian Conference on Robotics and Automation (ACRA 2023

💡 一句话要点

通过Whisper与ChatGPT提升人形机器人与人类的互动性

🎯 匹配领域: 支柱一：机器人控制 (Robot Control) 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 人形机器人 自动语音识别 大型语言模型 用户体验 自然语言处理 人机交互 Whisper ChatGPT

📋 核心要点

  1. 现有的人形机器人在与人类沟通时存在显著不足，影响其在客户服务等领域的应用效果。
  2. 论文提出将Whisper ASR与ChatGPT集成，构建Pepper-GPT系统，以提升人形机器人与人类的互动质量。
  3. 实验结果表明，Whisper ASR在字错误率和处理时间上优于其他ASR系统，用户对Pepper-GPT的反馈积极，表现出良好的可用性。

📝 摘要（中文）

人形机器人旨在与人类建立良好的互动关系，广泛应用于客户支持和服务台等场景。然而，许多现有系统在与人类有效沟通方面存在不足。大型语言模型（LLMs）的出现为解决这一沟通障碍提供了潜力。本文比较了不同的自动语音识别（ASR）API，并将Whisper ASR与ChatGPT集成到Pepper机器人中，评估了系统（Pepper-GPT）在15名用户中的表现。结果显示，Whisper ASR在平均字错误率（1.716%）和处理时间（2.639秒）方面表现最佳。用户调查显示，60%的参与者认为Pepper-GPT的表现“优秀”，其余参与者则评价为“良好”。尽管仍需克服多语言能力和面部追踪等问题，用户普遍对该系统反应积极，感觉像是在与真实人类对话。

🔬 方法详解

问题定义：本论文旨在解决人形机器人在与人类沟通时的有效性不足问题，现有系统如Softbank的Pepper在沟通能力上存在明显短板。

核心思路：通过集成Whisper ASR和ChatGPT，构建Pepper-GPT系统，利用大型语言模型的优势来改善人形机器人的交互体验。

技术框架：系统主要包括三个模块：自动语音识别（ASR）模块（使用Whisper）、自然语言处理模块（使用ChatGPT）和人形机器人控制模块。用户的语音输入通过ASR模块转化为文本，随后由ChatGPT进行理解和响应，最后通过控制模块实现机器人的行为。

关键创新：本研究的创新点在于将Whisper ASR与ChatGPT结合，显著提升了人形机器人在自然语言理解和生成方面的能力，与现有的单一ASR系统相比，提供了更为流畅的用户体验。

关键设计：在系统设计中，Whisper ASR的参数设置经过优化，以确保最低的字错误率，同时，ChatGPT的响应生成策略也经过调整，以适应人形机器人的交互需求。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果显示，Whisper ASR在字错误率上达到1.716%，处理时间为2.639秒，均优于Google ASR和Google Cloud ASR。用户调查中，60%的参与者认为Pepper-GPT的表现“优秀”，其余参与者评价为“良好”，显示出系统的良好可用性和用户满意度。

🎯 应用场景

该研究的潜在应用领域包括客户服务、教育辅导和社交陪伴等场景。通过提升人形机器人与人类的互动性，可以增强用户体验，促进人形机器人在日常生活中的普及和应用。未来，随着技术的进一步发展，可能会实现更复杂的多语言交流和情感识别能力。

📄 摘要（原文）

Humanoid robots are designed to be relatable to humans for applications such as customer support and helpdesk services. However, many such systems, including Softbank's Pepper, fall short because they fail to communicate effectively with humans. The advent of Large Language Models (LLMs) shows the potential to solve the communication barrier for humanoid robotics. This paper outlines the comparison of different Automatic Speech Recognition (ASR) APIs, the integration of Whisper ASR and ChatGPT with the Pepper robot and the evaluation of the system (Pepper-GPT) tested by 15 human users. The comparison result shows that, compared to the Google ASR and Google Cloud ASR, the Whisper ASR performed best as its average Word Error Rate (1.716%) and processing time (2.639 s) are both the lowest. The participants' usability investigations show that 60% of the participants thought the performance of the Pepper-GPT was "excellent", while the rest rated this system as "good" in the subsequent experiments. It is proved that while some problems still need to be overcome, such as the robot's multilingual ability and facial tracking capacity, users generally responded positively to the system, feeling like talking to an actual human.