LAVA: Long-horizon Visual Action based Food Acquisition

📄 arXiv: 2403.12876v1 📥 PDF

作者: Amisha Bhaskar, Rui Liu, Vishnu D. Sharma, Guangyao Shi, Pratap Tokekar

分类: cs.RO, cs.HC

发布日期: 2024-03-19

备注: 8 pages, 8 figures

💡 一句话要点

提出LAVA以解决半固体和变形食品的机器人喂食问题

🎯 匹配领域: 支柱一：机器人控制 (Robot Control) 支柱二：RL算法与架构 (RL & Architecture)

关键词: 机器人辅助喂食 长时视觉动作 半固体食品 变形食品 分层策略 视觉信息优化 行为克隆 食品获取

📋 核心要点

  1. 现有的机器人辅助喂食方法主要集中在固体食品的处理，缺乏对半固体和变形食品的有效操作策略。
  2. 本文提出的LAVA框架通过分层策略，结合视觉信息和行为克隆，实现对多种食品类型的长时获取。
  3. 在46个碗的实验中，LAVA的成功率达到89±4%，在不同食品种类和位置上表现出良好的泛化能力。

📝 摘要（中文）

机器人辅助喂食（RAF）旨在帮助行动不便的个体恢复自主进食能力。现有方法主要集中在固体食品的处理上，缺乏对半固体和变形食品的操作策略。本文提出了一种基于长时视图动作（LAVA）的食品获取方法，能够有效处理液体、半固体和变形食品。LAVA采用分层策略进行长时食品获取任务，通过高层策略确定基本操作，并利用视觉信息优化中层参数，最终通过低层策略执行精确的轨迹。实验结果显示，LAVA在46个碗的复杂真实场景中，成功率达到89±4%，显著优于基线方法，并能在不同的食品种类和位置上有效泛化。

🔬 方法详解

问题定义：本文旨在解决机器人辅助喂食中对半固体和变形食品的获取问题。现有方法主要针对固体食品，缺乏有效的操作策略，导致在处理复杂食品时的成功率低下。

核心思路：LAVA框架通过分层策略来处理长时食品获取任务。高层策略负责确定基本操作，中层通过视觉信息优化参数，低层则执行具体动作，确保轨迹的精确性。

技术框架：LAVA的整体架构包括三个主要模块：高层策略模块（确定基本操作），中层视觉模块（优化参数），以及低层执行模块（执行动作）。这种分层设计使得系统能够灵活应对不同类型的食品。

关键创新：LAVA的主要创新在于其分层策略和视觉驱动的参数优化方法。这使得系统能够有效处理液体、半固体和变形食品，显著提升了获取效率。

关键设计：在设计中，LAVA利用ScoopNet进行高层操作的确定，并通过视觉信息提取中层参数。低层策略结合行为克隆技术，确保了动作执行的精确性和稳定性。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果显示，LAVA在46个碗的复杂真实场景中，成功率达到89±4%，显著高于现有基线方法。这表明LAVA在处理液体、半固体和变形食品方面具有优越的性能，能够有效适应不同的食品种类和环境变化。

🎯 应用场景

该研究的潜在应用领域包括医疗护理、老年人照护以及残疾人辅助设备等。通过提升机器人在复杂食品获取中的能力，能够极大改善行动不便者的生活质量，促进其自主进食的能力，具有重要的社会价值和实际意义。

📄 摘要（原文）

Robotic Assisted Feeding (RAF) addresses the fundamental need for individuals with mobility impairments to regain autonomy in feeding themselves. The goal of RAF is to use a robot arm to acquire and transfer food to individuals from the table. Existing RAF methods primarily focus on solid foods, leaving a gap in manipulation strategies for semi-solid and deformable foods. This study introduces Long-horizon Visual Action (LAVA) based food acquisition of liquid, semisolid, and deformable foods. Long-horizon refers to the goal of "clearing the bowl" by sequentially acquiring the food from the bowl. LAVA employs a hierarchical policy for long-horizon food acquisition tasks. The framework uses high-level policy to determine primitives by leveraging ScoopNet. At the mid-level, LAVA finds parameters for primitives using vision. To carry out sequential plans in the real world, LAVA delegates action execution which is driven by Low-level policy that uses parameters received from mid-level policy and behavior cloning ensuring precise trajectory execution. We validate our approach on complex real-world acquisition trials involving granular, liquid, semisolid, and deformable food types along with fruit chunks and soup acquisition. Across 46 bowls, LAVA acquires much more efficiently than baselines with a success rate of 89 +/- 4% and generalizes across realistic plate variations such as different positions, varieties, and amount of food in the bowl. Code, datasets, videos, and supplementary materials can be found on our website.