TacCoRL: Integrating Tactile Feedback into VLA via Simulation
作者: Siyu Ma, Yuqi Liang, Chang Yu, Yunuo Chen, Hao Su, Yixin Zhu, Yin Yang, Chenfanfu Jiang
分类: cs.RO, cs.GR, cs.LG
发布日期: 2026-06-10
💡 一句话要点
提出TacCoRL框架以解决视觉语言行动模型中的触觉反馈缺失问题
🎯 匹配领域: 支柱一：机器人控制 (Robot Control) 支柱二：RL算法与架构 (RL & Architecture) 支柱九：具身大模型 (Embodied Foundation Models)
关键词: 触觉反馈 视觉语言行动 机器人操作 强化学习 仿真训练 多模态学习 接触状态 策略优化
📋 核心要点
- 核心问题：现有的视觉语言行动模型在处理接触丰富任务时，缺乏触觉反馈，导致局部接触状态信息的缺失。
- 方法要点：TacCoRL框架通过仿真与现实的共同训练，将触觉反馈融入VLA策略中，优化接触状态下的动作响应。
- 实验或效果：在四个双手接触丰富任务中，最终的视觉-触觉策略成功率达到72.5%，显著高于基线的50.0%。
📝 摘要（中文）
视觉语言行动（VLA）模型为机器人操作提供了强大的视觉、语言和动作先验，但仅依赖视觉观察往往无法捕捉到接触丰富任务所需的局部接触状态。本文提出了TacCoRL，一个可扩展的框架，通过仿真与现实的共同训练以及基于仿真的强化学习，将触觉反馈注入VLA策略中，从而提升其性能，而无需大规模的触觉预训练或广泛的现实接触探索。关键思想不仅在于将触觉作为输入，还在于学习如何在接近失败状态下调节动作响应。通过使用与真实环境对齐的仿真器作为闭环训练环境，混合的仿真和真实轨迹首先为预训练策略中的触觉条件动作提供了热启动。随后，利用可验证的任务奖励进行强化学习，优化策略并强化那些能够完成任务的触觉条件动作。最终，所得到的策略能够直接迁移到真实机器人上，且无需特权的仿真状态或在线的现实世界强化学习。
🔬 方法详解
问题定义：本文旨在解决视觉语言行动模型在接触丰富任务中缺乏触觉反馈的问题。现有方法往往依赖视觉信息，无法有效捕捉接触状态，导致在实际操作中表现不佳。
核心思路：TacCoRL框架的核心思路是将触觉反馈作为输入，并学习如何在接近失败的状态下调节动作响应。这种设计使得模型能够在稀有且风险较高的状态下进行有效的决策。
技术框架：TacCoRL的整体架构包括两个主要阶段：首先，通过混合的仿真和真实轨迹为预训练策略提供热启动；其次，利用强化学习和可验证的任务奖励优化策略，确保触觉条件动作能够有效完成任务。
关键创新：TacCoRL的主要创新在于将触觉反馈有效整合到VLA策略中，并通过仿真与现实的共同训练提升策略性能。这与现有方法的本质区别在于不再单纯依赖视觉信息，而是综合考虑触觉反馈。
关键设计：在设计中，采用了与真实环境对齐的仿真器作为训练环境，设置了混合轨迹以实现热启动，并通过强化学习优化触觉条件动作，确保策略在真实环境中的有效性。
🖼️ 关键图片
📊 实验亮点
在四个双手接触丰富任务中，TacCoRL框架的视觉-触觉策略成功率达72.5%，相比基线的50.0%提升了22.5%。这一显著的提升表明，触觉反馈的有效整合能够显著改善机器人操作的成功率。
🎯 应用场景
TacCoRL框架具有广泛的应用潜力，特别是在需要精确接触和操作的机器人任务中，如工业自动化、医疗机器人和服务机器人等领域。通过有效整合触觉反馈，该研究能够提升机器人在复杂环境中的操作能力，未来可能推动智能机器人技术的进一步发展。
📄 摘要（原文）
Vision-language-action (VLA) models provide strong visual, language, and action priors for robot manipulation, but visual observations alone often miss the local contact state required for contact-rich tasks. We present TacCoRL, a scalable framework that injects Tactile feedback into VLA policies and improves them through sim-real Co-training and simulation-based reinforcement learning (RL), without requiring large-scale tactile pretraining or extensive real-world contact exploration. The key idea is not only adding touch as an input, but learning how contact readings should modulate action responses in near-failure states that are rare in demonstrations and risky to collect on hardware. We use a real-aligned simulator as a closed-loop training environment for contact interaction. Mixed simulated and real trajectories first warm-start tactile-conditioned actions in the pretrained policy. Reinforcement learning with verifiable task rewards then optimizes the policy using simulated contact rollouts. It reinforces tactile-conditioned actions that lead to task completion, while a supervised objective on real trajectories keeps the refined policy anchored to deployment visual, tactile, and action distributions. The resulting policy transfers directly to the real robot without privileged simulation state or online real-world RL. Across four bimanual contact-rich tasks, the final visuo-tactile policy achieves an average success rate of 72.5%, compared to baseline of 50.0%. Result videos and more details are available at https://tac-corl.github.io/