Language-Grounded Force/Torque Pretraining for Extrinsic Contact Perception
作者: Kazuki Takahashi, Hiroaki Murakami, Ryota Sakuma, Mitsuhiro Kamezaki, Matthew Ishige, Yoshihiro Kawahara
分类: cs.RO
发布日期: 2026-10-29
备注: 9 pages, 5 figures
💡 一句话要点
提出语言引导的力/扭矩预训练以解决外部接触感知问题
🎯 匹配领域: 支柱一：机器人控制 (Robot Control)
关键词: 力/扭矩感知 机器人操作 语言模型 外部接触 数据高效学习
📋 核心要点
- 现有方法在识别抓取物体与环境接触时面临挑战，尤其是当接触不可直接观察时。
- 本文提出通过与冻结语言空间对齐的方式，对双向六轴力/扭矩历史进行预训练，以形成语义结构化的物理表示。
- 实验结果表明，所提出的方法在真实环境中实现了接触状态识别的提升，并在连接器插入任务中表现出数据高效学习的能力。
📝 摘要（中文）
精细操作要求机器人识别抓取物体与环境接触或接触变化的时刻，但这种外部接触并不总是可以通过视觉或局部接触几何直接观察到。力和扭矩信号携带了这些信息，但也会因物体重量、抓取配置和机器人运动而变化，使得它们是否能提供可重用的物理状态表示变得不明确。本文展示了双向六轴力/扭矩历史可以通过与冻结语言空间对齐进行预训练，形成语义结构化的物理表示。通过在模拟环境中进行的拾取和放置交互生成的监督，所学习的表示支持对机器人动作、物体重量和抓取交互的文本原型读取。在真实世界的放置中，无标签的校准使得接触和支撑状态识别得以实现，而无需更新编码器，超越了垂直力符号反转规则基线。在连接器插入这一预训练中缺失的事件中，低秩适应提高了数据高效学习的能力。结果表明，力/扭矩历史可以支持已知物理状态的直接读取以及对新外部接触事件的高效适应。
🔬 方法详解
问题定义：本文旨在解决机器人在精细操作中识别外部接触状态的难题。现有方法往往依赖于视觉信息，无法有效处理不可见的接触变化。
核心思路：通过将双向六轴力/扭矩历史与冻结的语言空间对齐，形成一种语义结构化的物理表示，从而使机器人能够理解和适应不同的接触状态。
技术框架：整体架构包括力/扭矩信号的采集、与语言空间的对齐、以及在模拟环境中进行的监督学习。主要模块包括数据预处理、模型训练和无标签校准。
关键创新：最重要的创新在于将力/扭矩历史与语言模型结合，形成可重用的物理状态表示。这一方法与传统依赖视觉的接触识别方法本质上不同。
关键设计：在模型设计中，采用了特定的损失函数来优化力/扭矩信号与语言表示的对齐，同时在无标签校准阶段，保持编码器不变以提高识别精度。
📊 实验亮点
实验结果显示，所提出的方法在真实环境中的接触状态识别性能超越了垂直力符号反转规则基线，且在连接器插入任务中，通过低秩适应实现了数据高效学习，展现出显著的性能提升。
🎯 应用场景
该研究的潜在应用领域包括机器人抓取、精细操作和人机交互等。通过提高机器人对外部接触的感知能力，可以显著提升其在复杂环境中的操作效率和安全性，未来可能在工业自动化和服务机器人领域产生深远影响。
📄 摘要（原文）
Fine manipulation requires robots to recognize when a grasped object makes or changes contact with its environment, yet such extrinsic contact is not always directly observable from vision or local contact geometry. Force and torque signals carry this information, but also vary with object weight, grasp configuration, and robot motion, leaving it unclear whether they can provide a reusable representation of physical state. Here we show that bilateral six-axis force/torque histories can be pretrained as a semantically structured physical representation by aligning them with a frozen language space using supervision generated from simulated pick-and-place interactions. On unseen objects in simulation, the learned representation supports text-prototype readout of robot action, object weight, and grasp interaction. In real-world placement, unlabeled calibration enables contact and support-state recognition without updating the encoder, outperforming a vertical-force sign-reversal rule baseline. For connector insertion, an event absent from pretraining, low-rank adaptation improves data-efficient learning over training from scratch. These results show that force/torque histories can support both direct readout of known physical states and efficient adaptation to new extrinsic-contact events.