Feel the Bite: Robot-Assisted Inside-Mouth Bite Transfer using Robust Mouth Perception and Physical Interaction-Aware Control
作者: Rajat Kumar Jenamani, Daniel Stabile, Ziang Liu, Abrar Anwar, Katherine Dimitropoulou, Tapomayukh Bhattacharjee
分类: cs.RO
发布日期: 2024-03-06
备注: HRI 2024
💡 一句话要点
提出机器人辅助口内咬合转移系统以解决进食困难问题
🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)
关键词: 机器人辅助进食 口腔感知 多模态分类 物理交互 移动障碍 护理技术 智能控制
📋 核心要点
- 现有的喂食系统无法满足严重行动受限者的需求，特别是在口内食物放置的精确性和对突发交互的反应能力方面存在不足。
- 本文提出的系统结合了多视角口腔感知和多模态时间序列分类控制机制，以提高口内食物转移的精确性和安全性。
- 实验结果显示，该系统成功为13名不同移动障碍的护理对象提供服务，参与者对系统的舒适性和安全性给予了高评价。
📝 摘要（中文）
机器人辅助进食可以显著改善行动不便者的生活质量。现有的喂食系统虽然能够将食物放置在护理对象的嘴前，但对于严重行动受限的人来说，他们无法前倾，需要直接在口内放置食物。这要求系统具备高精度，尤其是在口腔开口受限的情况下，同时需要对各种物理交互做出适当反应。本文提出了一种口内咬合转移系统，包含一个多视角口腔感知管道和一个多模态时间序列分类的控制机制，以应对这些挑战。实验结果表明，该系统在13名具有不同移动障碍的护理对象中成功实施，参与者普遍对系统的舒适性和安全性给予高度评价，显示出其在实际场景中的变革潜力。
🔬 方法详解
问题定义：本文旨在解决严重行动受限者在进食时无法前倾的问题，现有的喂食系统在口内食物放置的精确性和对突发交互的反应能力上存在不足。
核心思路：提出一种结合多视角口腔感知和多模态时间序列分类的控制机制，以实现高精度的口内咬合转移，确保在各种物理交互下的安全性和舒适性。
技术框架：系统主要由两个模块组成：多视角口腔感知管道和多模态时间序列分类控制机制。前者用于实时感知口腔内的状态，后者用于分析并响应不同的物理交互。
关键创新：最重要的创新在于多视角口腔感知的鲁棒性，能够有效处理工具遮挡问题，并且通过多模态分类技术实时识别和反应不同的物理交互。
关键设计：在设计中，采用了多视角摄像头以增强感知能力，使用了特定的损失函数来优化分类准确性，并设计了适应性强的控制算法以应对突发的物理交互。
🖼️ 关键图片
📊 实验亮点
实验结果显示，该系统成功为13名具有不同移动障碍的护理对象提供服务，参与者对系统的舒适性和安全性给予了高评价，技术接受度评分也很高，表明其在实际应用中的巨大潜力。
🎯 应用场景
该研究的潜在应用领域包括医疗护理、老年人照护及残疾人辅助设备等。通过提高进食的安全性和舒适性，能够显著改善行动不便者的生活质量，具有广泛的社会价值和实际影响。未来，随着技术的进一步发展，该系统有望在更广泛的场景中得到应用。
📄 摘要（原文）
Robot-assisted feeding can greatly enhance the lives of those with mobility limitations. Modern feeding systems can pick up and position food in front of a care recipient's mouth for a bite. However, many with severe mobility constraints cannot lean forward and need direct inside-mouth food placement. This demands precision, especially for those with restricted mouth openings, and appropriately reacting to various physical interactions - incidental contacts as the utensil moves inside, impulsive contacts due to sudden muscle spasms, deliberate tongue maneuvers by the person being fed to guide the utensil, and intentional bites. In this paper, we propose an inside-mouth bite transfer system that addresses these challenges with two key components: a multi-view mouth perception pipeline robust to tool occlusion, and a control mechanism that employs multimodal time-series classification to discern and react to different physical interactions. We demonstrate the efficacy of these individual components through two ablation studies. In a full system evaluation, our system successfully fed 13 care recipients with diverse mobility challenges. Participants consistently emphasized the comfort and safety of our inside-mouth bite transfer system, and gave it high technology acceptance ratings - underscoring its transformative potential in real-world scenarios. Supplementary materials and videos can be found at http://emprise.cs.cornell.edu/bitetransfer/ .