Human-mediated Large Language Models for Robotic Intervention in Children with Autism Spectrum Disorders

📄 arXiv: 2402.00260v3 📥 PDF

作者: Ruchik Mishra, Karla Conn Welch, Dan O Popa

分类: cs.RO, cs.AI

发布日期: 2024-02-01 (更新: 2024-07-27)

备注: This work is submitted for possible publication

💡 一句话要点

提出基于大语言模型的机器人干预以支持自闭症儿童

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 自闭症干预 机器人技术 大语言模型 视角教学 社交技能 人机交互 教育机器人

📋 核心要点

  1. 现有的机器人干预方法依赖于固定脚本，限制了机器人的自主性和适应性。
  2. 本文提出通过大语言模型生成互动内容，使机器人在干预中具备更高的自主性和灵活性。
  3. 实验结果表明，机器人干预在专家评估中表现优越，且未增加额外的心理或身体负担。

📝 摘要（中文）

针对自闭症谱系障碍（ASD）儿童的机器人干预通常依赖于预定义脚本进行一对一治疗，这限制了机器人的自主性和灵活性。本文通过实施视角教学，利用大型语言模型（LLM）生成口头内容，提升了机器人在干预中的自主性。研究中，机器人扮演三种角色：发起者、提示者和强化者，采用GPT-2 + BART生成社交情境并进行互动。通过与领域专家的模拟会话验证了干预效果，结果显示机器人干预在心理和身体需求上没有显著增加，同时被专家认为安全、可爱且可靠。

🔬 方法详解

问题定义：本文旨在解决自闭症儿童机器人干预中存在的依赖预定义脚本的问题，导致机器人缺乏自主性和灵活性。

核心思路：通过引入视角教学，利用大型语言模型生成实时互动内容，使机器人能够根据儿童的反应进行适应性调整，从而提升干预效果。

技术框架：整体架构包括三个主要模块：社交情境生成（使用GPT-2 + BART）、互动提示（作为发起者和提示者）以及正向强化（作为强化者）。这些模块协同工作，实现了机器人与儿童的动态互动。

关键创新：本研究的创新在于结合了大语言模型与机器人干预，首次实现了机器人在自闭症儿童治疗中的自主内容生成，显著提升了干预的灵活性和适应性。

关键设计：在技术细节上，采用了GPT-2 + BART的组合来生成社交情境，并通过BERTScore对生成内容的质量进行评估，确保了生成内容的相关性和适应性。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果显示，机器人干预在专家评估中表现优于传统无机器人干预，且在心理和身体需求方面没有显著增加。使用BERTScore比较后，GPT-2 + BART的生成效果优于单一的GPT-2，验证了方法的有效性和优越性。

🎯 应用场景

该研究的潜在应用领域包括自闭症儿童的教育和治疗，机器人可以作为辅助工具，提供个性化的互动体验，帮助儿童提高社交技能。未来，类似的方法也可以扩展到其他需要个性化干预的领域，如心理治疗和特殊教育。

📄 摘要（原文）

The robotic intervention for individuals with Autism Spectrum Disorder (ASD) has generally used pre-defined scripts to deliver verbal content during one-to-one therapy sessions. This practice restricts the use of robots to limited, pre-mediated instructional curricula. In this paper, we increase robot autonomy in one such robotic intervention for children with ASD by implementing perspective-taking teaching. Our approach uses large language models (LLM) to generate verbal content as texts and then deliver it to the child via robotic speech. In the proposed pipeline, we teach perspective-taking through which our robot takes up three roles: initiator, prompter, and reinforcer. We adopted the GPT-2 + BART pipelines to generate social situations, ask questions (as initiator), and give options (as prompter) when required. The robot encourages the child by giving positive reinforcement for correct answers (as a reinforcer). In addition to our technical contribution, we conducted ten-minute sessions with domain experts simulating an actual perspective teaching session, with the researcher acting as a child participant. These sessions validated our robotic intervention pipeline through surveys, including those from NASA TLX and GodSpeed. We used BERTScore to compare our GPT-2 + BART pipeline with an all GPT-2 and found the performance of the former to be better. Based on the responses by the domain experts, the robot session demonstrated higher performance with no additional increase in mental or physical demand, temporal demand, effort, or frustration compared to a no-robot session. We also concluded that the domain experts perceived the robot as ideally safe, likable, and reliable.