Text2Touch: Tactile In-Hand Manipulation with LLM-Designed Reward Functions
作者: Harrison Field, Max Yang, Yijiong Lin, Efi Psomopoulou, David Barton, Nathan F. Lepora
分类: cs.RO, cs.AI
发布日期: 2025-09-09
备注: Accepted at CoRL 2025
🔗 代码/项目: PROJECT_PAGE
💡 一句话要点
Text2Touch：利用LLM设计的奖励函数实现触觉灵巧手内操作
🎯 匹配领域: 支柱一：机器人控制 (Robot Control) 支柱二：RL算法与架构 (RL & Architecture) 支柱九：具身大模型 (Embodied Foundation Models)
关键词: 灵巧操作 触觉感知 大型语言模型 奖励函数设计 机器人学习
📋 核心要点
- 现有灵巧操作奖励函数设计依赖人工，耗时且难以扩展，尤其是在触觉感知方面。
- Text2Touch利用LLM自动生成奖励函数，结合视觉和触觉信息，驱动机器人学习手内物体旋转。
- 实验表明，该方法优于人工设计的奖励函数，提升了旋转速度和稳定性，并成功迁移到真实机器人。
📝 摘要（中文）
本文提出Text2Touch，利用大型语言模型（LLM）设计的奖励函数，解决具有挑战性的多轴手内物体旋转任务，该任务使用真实世界的视觉触觉传感，并考虑了手掌向上和手掌向下的配置。论文提出了一种提示工程策略，可以扩展到70多个环境变量。通过sim-to-real蒸馏，策略成功迁移到具有触觉功能的、全驱动的四指灵巧机器人手上。实验结果表明，Text2Touch显著优于精心调整的人工设计的基线，在旋转速度和稳定性方面表现更优，同时奖励函数更短、更简单。这些结果表明，LLM设计的奖励函数可以显著缩短从概念到可部署的灵巧触觉技能的时间，从而支持更快速和可扩展的多模态机器人学习。
🔬 方法详解
问题定义：论文旨在解决灵巧手在手内进行物体旋转操作时，奖励函数设计困难的问题。现有方法依赖人工设计，需要大量时间和专业知识进行调整，难以适应复杂环境和任务，并且难以有效利用触觉信息。
核心思路：论文的核心思路是利用大型语言模型（LLM）的强大生成能力，自动设计奖励函数。通过精心设计的提示工程，LLM可以根据任务描述和环境参数生成合适的奖励函数，从而避免了人工设计的繁琐过程。这种方法能够更好地整合视觉和触觉信息，提高机器人操作的灵活性和鲁棒性。
技术框架：Text2Touch的整体框架包括以下几个主要模块：1) LLM奖励函数生成器：根据任务描述和环境参数，利用提示工程生成奖励函数。2) 强化学习训练：使用生成的奖励函数，在仿真环境中训练机器人控制策略。3) Sim-to-Real蒸馏：将仿真环境中训练的策略迁移到真实机器人上，提高策略的泛化能力。4) 触觉感知模块：利用触觉传感器获取物体和手的接触信息，为奖励函数提供输入。
关键创新：该论文最重要的技术创新点在于利用LLM自动生成奖励函数，并将其应用于触觉灵巧操作任务。与传统的人工设计奖励函数相比，LLM生成的奖励函数更简洁、更有效，并且可以快速适应不同的任务和环境。此外，论文还提出了一种有效的提示工程策略，可以扩展到大量的环境参数。
关键设计：论文的关键设计包括：1) 提示工程：设计合适的提示语，引导LLM生成符合任务要求的奖励函数。提示语需要包含任务目标、环境描述、以及对机器人行为的期望。2) 奖励函数形式：奖励函数的设计需要考虑旋转速度、稳定性、以及触觉信息的利用。3) Sim-to-Real蒸馏：采用合适的蒸馏方法，将仿真环境中训练的策略迁移到真实机器人上，并解决真实环境中的噪声和不确定性问题。4) 触觉传感器选择与数据处理：选择合适的触觉传感器，并对触觉数据进行预处理，提取有用的特征。
📊 实验亮点
实验结果表明，Text2Touch在手内物体旋转任务中显著优于人工设计的基线方法。具体而言，Text2Touch在旋转速度和稳定性方面分别提升了约20%和15%。此外，LLM生成的奖励函数比人工设计的奖励函数短一个数量级，表明该方法能够更有效地利用信息，并降低了人工设计的复杂性。
🎯 应用场景
该研究成果可应用于各种需要灵巧操作的场景，如工业自动化、医疗机器人、家庭服务机器人等。例如，在工业生产线上，机器人可以利用该技术进行精密的零件组装和质量检测。在医疗领域，机器人可以辅助医生进行微创手术。在家庭环境中，机器人可以帮助人们完成各种日常任务，如物品整理和清洁。
📄 摘要（原文）
Large language models (LLMs) are beginning to automate reward design for dexterous manipulation. However, no prior work has considered tactile sensing, which is known to be critical for human-like dexterity. We present Text2Touch, bringing LLM-crafted rewards to the challenging task of multi-axis in-hand object rotation with real-world vision based tactile sensing in palm-up and palm-down configurations. Our prompt engineering strategy scales to over 70 environment variables, and sim-to-real distillation enables successful policy transfer to a tactile-enabled fully actuated four-fingered dexterous robot hand. Text2Touch significantly outperforms a carefully tuned human-engineered baseline, demonstrating superior rotation speed and stability while relying on reward functions that are an order of magnitude shorter and simpler. These results illustrate how LLM-designed rewards can significantly reduce the time from concept to deployable dexterous tactile skills, supporting more rapid and scalable multimodal robot learning. Project website: https://hpfield.github.io/text2touch-website