ExTraCT -- Explainable Trajectory Corrections from language inputs using Textual description of features

📄 arXiv: 2401.03701v1 📥 PDF

作者: J-Anne Yow, Neha Priyadarshini Garg, Manoj Ramanathan, Wei Tech Ang

分类: cs.RO

发布日期: 2024-01-08

备注: 11 pages, 7 figures

💡 一句话要点

提出ExTraCT以解决机器人轨迹修正的语言理解问题

🎯 匹配领域: 支柱一：机器人控制 (Robot Control) 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 自然语言处理 轨迹修正 大型语言模型 机器人技术 人机交互

📋 核心要点

  1. 现有方法在学习轨迹变形时无法适应新的初始轨迹或物体配置，限制了其应用范围。
  2. ExTraCT框架结合大型语言模型和轨迹变形函数，能够根据自然语言指令进行灵活的轨迹修正。
  3. 实验结果表明，使用ExTraCT修正的轨迹在准确性上显著提升，用户偏好度达到80%。

📝 摘要（中文）

自然语言为机器人传达人类意图提供了一种直观且富有表现力的方式。以往的研究采用端到端的方法学习轨迹变形，但这些方法无法对新的初始轨迹或物体配置进行泛化。本研究提出了ExTraCT，一个模块化框架，通过自然语言进行轨迹修正，结合了大型语言模型（LLMs）用于自然语言理解和轨迹变形函数。ExTraCT能够在线生成场景特定和独立的轨迹修改特征及其对应的自然语言文本描述，并通过语义匹配将用户的语言与特征描述相结合，从而实现对初始轨迹的修正。通过在模拟和物理机器人臂上的用户研究，我们证明了使用该方法变形的轨迹在准确性上更高，并在约80%的情况下被用户偏好，超越了基线方法。

🔬 方法详解

问题定义：本论文旨在解决机器人在接收自然语言指令时，如何有效修正轨迹的问题。现有的端到端方法无法处理新的初始轨迹或物体配置，导致泛化能力不足。

核心思路：论文提出的ExTraCT框架通过结合大型语言模型（LLMs）与轨迹变形函数，能够根据用户的自然语言输入生成相应的轨迹修正特征，从而实现更灵活的轨迹调整。

技术框架：ExTraCT的整体架构包括多个模块：首先，系统接收用户的自然语言输入；然后，利用LLMs进行语义匹配，识别与场景特征相关的文本描述；最后，根据匹配的特征应用轨迹修正函数，生成新的轨迹。

关键创新：ExTraCT的主要创新在于其模块化设计，能够处理场景特定和独立的轨迹修改特征，并通过自然语言描述进行有效的语义匹配，这与传统的端到端方法形成鲜明对比。

关键设计：在技术细节上，ExTraCT使用了特定的模板生成文本描述，并通过优化的损失函数来提高语义匹配的准确性。此外，轨迹修正函数的设计考虑了多种场景配置，以增强系统的适应性。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果显示，使用ExTraCT修正的轨迹在准确性上显著提高，用户在约80%的情况下偏好该方法，相较于基线方法表现出更好的效果。这表明ExTraCT在实际应用中具有较高的实用性和有效性。

🎯 应用场景

ExTraCT框架在机器人操作和人机交互领域具有广泛的应用潜力。它可以用于复杂的操作任务，如物体操控和辅助喂食，提升机器人对自然语言指令的理解和执行能力，进而改善人机协作的效率和体验。未来，该技术有望在智能家居、医疗辅助等领域发挥重要作用。

📄 摘要（原文）

Natural language provides an intuitive and expressive way of conveying human intent to robots. Prior works employed end-to-end methods for learning trajectory deformations from language corrections. However, such methods do not generalize to new initial trajectories or object configurations. This work presents ExTraCT, a modular framework for trajectory corrections using natural language that combines Large Language Models (LLMs) for natural language understanding and trajectory deformation functions. Given a scene, ExTraCT generates the trajectory modification features (scene-specific and scene-independent) and their corresponding natural language textual descriptions for the objects in the scene online based on a template. We use LLMs for semantic matching of user utterances to the textual descriptions of features. Based on the feature matched, a trajectory modification function is applied to the initial trajectory, allowing generalization to unseen trajectories and object configurations. Through user studies conducted both in simulation and with a physical robot arm, we demonstrate that trajectories deformed using our method were more accurate and were preferred in about 80\% of cases, outperforming the baseline. We also showcase the versatility of our system in a manipulation task and an assistive feeding task.