VibeAct: Vibration to Actions for Contact-Rich Reactive Robot Dexterity
作者: Yuemin Mao, Uksang Yoo, Jean Oh, Jonathan Francis, Jeffrey Ichnowski
分类: cs.RO
发布日期: 2026-06-25
🔗 代码/项目: PROJECT_PAGE
💡 一句话要点
提出VibeAct以解决接触丰富环境下机器人灵巧操作问题
🎯 匹配领域: 支柱一：机器人控制 (Robot Control) 支柱二：RL算法与架构 (RL & Architecture)
关键词: 灵巧操作 振动触觉 强化学习 机器人技术 接触感知 仿真学习 物理表示 滑动估计
📋 核心要点
- 现有方法在处理快速、局部的接触事件时，难以真实模拟振动声学信号，限制了灵巧操作的效果。
- VibeAct框架通过将真实振动触觉感知与仿真强化学习结合，利用共享的物理表示来解决这一问题。
- 在五个接触丰富的任务中，VibeAct在仿真中表现优异，尤其在需要持续反应控制的任务中，成功率显著提高。
📝 摘要（中文）
灵巧操作依赖于快速、局部且常常被视觉遮挡的接触事件。压电麦克风提供了一种紧凑且高带宽的方式来感知这些交互，但生成的振动声学信号难以真实模拟以进行端到端的策略学习。我们提出了VibeAct框架，通过共享的物理接触和滑动表示，连接真实的振动触觉感知与基于仿真的强化学习。在真实环境中，我们将压电麦克风嵌入灵巧机器人手中，通过遥操作收集振动声学数据，然后在经过校准的数字克隆中重放录音，以自动标记每根手指的接触和滑动。一个触觉估计器从真实的麦克风波形中学习预测接触和滑动，而操作策略在仿真中基于相同的表示进行训练。通过五个接触丰富的任务，VibeAct在仿真中始终优于基于本体感知和点云的基线，尤其在需要持续反应控制的任务中，滑动幅度通道提供了最有价值的观察信息。学习到的策略成功转移到物理灵巧手臂平台，提高了实际任务的成功率。
🔬 方法详解
问题定义：论文要解决的问题是如何在接触丰富的环境中实现灵巧操作，现有方法在真实与仿真之间的信号模拟存在困难，导致策略学习效果不佳。
核心思路：VibeAct框架的核心思路是通过真实的振动触觉感知与仿真环境中的策略学习相结合，利用共享的物理接触和滑动表示来提高操作的灵活性和准确性。
技术框架：整体架构包括三个主要模块：首先，在真实环境中嵌入压电麦克风收集振动数据；其次，在数字克隆中重放这些数据以标记接触和滑动；最后，利用触觉估计器和仿真环境训练操作策略。
关键创新：最重要的技术创新点在于通过解耦真实振动信号与仿真策略学习，使得策略能够利用快速的触觉反馈，而无需模拟原始音频信号。
关键设计：关键设计包括压电麦克风的选择与布置、触觉估计器的网络结构，以及损失函数的设计，以确保从真实数据中准确预测接触和滑动。通过这些设计，VibeAct能够有效提升灵巧操作的性能。
🖼️ 关键图片
📊 实验亮点
在五个接触丰富的任务中，VibeAct在仿真中表现优于基于本体感知和点云的基线，尤其在需要持续反应控制的任务中，成功率提升显著，具体提升幅度未知。学习到的策略成功转移到物理灵巧手臂平台，进一步验证了其有效性。
🎯 应用场景
该研究的潜在应用领域包括机器人抓取、物体操控和人机交互等场景。通过提高机器人在复杂环境中的灵巧操作能力，VibeAct能够在工业自动化、服务机器人和医疗辅助等领域发挥重要作用，推动智能机器人技术的发展。
📄 摘要（原文）
Dexterous manipulation depends on contact events that are fast, local, and often visually occluded. Piezoelectric microphones offer a compact and high-bandwidth way to sense these interactions, but the resulting vibro-acoustic signals are difficult to simulate faithfully enough for end-to-end sim-to-real policy learning on dexterous robot hands. We propose VibeAct, a framework that bridges real vibrotactile sensing and simulation-based reinforcement learning through a shared physical representation of contact and slip. In the real world, we embed piezoelectric microphones into a dexterous robot hand and collect vibro-acoustic data through teleoperation, then replay the recordings in a calibrated digital clone to automatically label per-finger contact and slip. A tactile estimator learns to predict contact and slip from real microphone waveforms, while manipulation policies are trained in simulation on the same representation computed directly from simulated contacts. This decoupling lets policies exploit rapid tactile feedback without simulating raw audio. Across five contact-rich tasks spanning regrasping, in-hand reorientation, and insertion, VibeAct consistently outperforms a proprioception-and-point-cloud baseline in simulation, with the largest gains on tasks requiring sustained reactive control, where the continuous slip-magnitude channel proves the most informative observation. The learned policies transfer to a physical dexterous hand-arm platform, improving success rates on deployed tasks. Project videos and additional details are at https://vibeact.github.io/.