Tactile-Conditioned Diffusion Policy for Force-Aware Robotic Manipulation

📄 arXiv: 2510.13324v1 📥 PDF

作者: Erik Helmut, Niklas Funk, Tim Schneider, Cristiana de Farias, Jan Peters

分类: cs.RO

发布日期: 2025-10-15

💡 一句话要点

提出FARM框架，利用触觉信息和力控制实现力感知的机器人操作

🎯 匹配领域: 支柱一：机器人控制 (Robot Control) 支柱二：RL算法与架构 (RL & Architecture)

关键词: 机器人操作 力感知 触觉传感 模仿学习 扩散模型

📋 核心要点

  1. 接触式操作依赖于施加正确的抓取力，尤其是在处理易碎或可变形物体时，现有模仿学习方法通常将视觉触觉反馈视为附加观察，忽略了对作用力的控制。
  2. FARM框架的核心思想是利用高维触觉数据推断力信号，并以此定义基于力的动作空间，从而实现对机器人操作过程中作用力的精确控制。
  3. 实验结果表明，FARM在需要不同力度的任务中均优于基线方法，验证了其利用触觉信息和力控制的有效性，尤其是在动态力适应任务中表现出色。

📝 摘要（中文）

本文提出了一种力感知的机器人操作框架（FARM），该框架集成了高维触觉数据，以推断触觉条件下的力信号，进而定义一个匹配的基于力的动作空间。通过改进的通用操作界面（UMI）手持夹爪收集人类演示数据，该夹爪集成了GelSight Mini视觉触觉传感器。为了部署学习到的策略，开发了UMI夹爪的驱动版本，其几何形状与手持版本匹配。在策略rollout期间，FARM扩散策略联合预测机器人姿态、抓取宽度和抓取力。在具有不同力要求的三个任务（高力、低力和动态力适应）中，FARM优于多个基线，证明了其两个关键组件的优势：利用基于力的高维触觉观察和基于力的控制空间。代码库和设计文件已开源。

🔬 方法详解

问题定义：现有模仿学习方法在接触式操作中，通常将视觉触觉反馈作为额外的观察，而忽略了对作用力的直接控制。这导致在处理需要精确力控制的任务（如抓取易碎物品）时，机器人难以准确施力，容易造成损坏或操作失败。因此，如何利用触觉信息实现对机器人操作过程中作用力的精确控制是一个关键问题。

核心思路：本文的核心思路是将高维触觉数据与力信号联系起来，通过触觉信息推断出合适的力信号，并以此定义基于力的动作空间。这样，机器人就可以根据触觉反馈，直接控制作用力的大小和方向，从而实现力感知的操作。这种方法避免了传统方法中将力作为gripper命令的间接结果，实现了更精确的力控制。

技术框架：FARM框架主要包含以下几个模块：1) 数据采集模块：使用配备GelSight Mini触觉传感器的UMI夹爪收集人类演示数据，包括机器人姿态、抓取宽度和触觉信息。2) 策略学习模块：使用扩散模型学习触觉条件下的力信号，即根据触觉信息预测合适的力。3) 控制模块：根据学习到的策略，控制机器人姿态、抓取宽度和抓取力，实现力感知的操作。整体流程是：触觉传感器感知环境信息 -> 策略学习模块根据触觉信息预测力信号 -> 控制模块根据预测的力信号控制机器人动作。

关键创新：FARM框架的关键创新在于：1) 提出了利用高维触觉数据推断力信号的方法，实现了触觉信息与力控制的直接联系。2) 定义了基于力的动作空间，使得机器人可以直接控制作用力，而不是间接控制。3) 将扩散模型应用于力感知的机器人操作，提高了策略学习的效率和泛化能力。

关键设计：在数据采集方面，使用了配备GelSight Mini触觉传感器的UMI夹爪，可以获取高分辨率的触觉图像。在策略学习方面，使用了扩散模型，该模型可以学习复杂的数据分布，并生成高质量的力信号。在控制方面，使用了力控制算法，可以精确控制机器人作用力的大小和方向。损失函数的设计目标是最小化预测力信号与实际力信号之间的差异，以及最小化预测的机器人姿态与目标姿态之间的差异。

📊 实验亮点

实验结果表明，FARM框架在三个具有不同力要求的任务（高力、低力和动态力适应）中均优于多个基线方法。尤其是在动态力适应任务中，FARM能够根据环境变化动态调整作用力，表现出更强的适应性和鲁棒性。具体性能数据在论文中给出，但摘要中未明确提及具体的提升幅度。

🎯 应用场景

该研究成果可应用于各种需要精确力控制的机器人操作场景，例如：易碎物品的抓取和搬运、医疗手术中的精细操作、装配线上的精密装配等。通过力感知的机器人操作，可以提高操作的安全性、精度和效率，降低操作风险和成本，具有广阔的应用前景。

📄 摘要（原文）

Contact-rich manipulation depends on applying the correct grasp forces throughout the manipulation task, especially when handling fragile or deformable objects. Most existing imitation learning approaches often treat visuotactile feedback only as an additional observation, leaving applied forces as an uncontrolled consequence of gripper commands. In this work, we present Force-Aware Robotic Manipulation (FARM), an imitation learning framework that integrates high-dimensional tactile data to infer tactile-conditioned force signals, which in turn define a matching force-based action space. We collect human demonstrations using a modified version of the handheld Universal Manipulation Interface (UMI) gripper that integrates a GelSight Mini visual tactile sensor. For deploying the learned policies, we developed an actuated variant of the UMI gripper with geometry matching our handheld version. During policy rollouts, the proposed FARM diffusion policy jointly predicts robot pose, grip width, and grip force. FARM outperforms several baselines across three tasks with distinct force requirements -- high-force, low-force, and dynamic force adaptation -- demonstrating the advantages of its two key components: leveraging force-grounded, high-dimensional tactile observations and a force-based control space. The codebase and design files are open-sourced and available at https://tactile-farm.github.io .