Visuo-tactile Diffusion Policy for Robotic Manipulation with Auxiliary Tactile Dynamics Prediction
作者: Kaihong Ouyang, Zihao Su, Chengxuan Zheng, Weiyi Lai, Dong Zhou
分类: cs.RO
发布日期: 2026-11-02
备注: 7 pages, 2 figures. Presented at ICCSSE 2026
💡 一句话要点
提出视触扩散策略以解决长时间机器人组装问题
🎯 匹配领域: 支柱一：机器人控制 (Robot Control) 支柱二：RL算法与架构 (RL & Architecture)
关键词: 机器人组装 多模态融合 视觉感知 触觉反馈 动作序列生成
📋 核心要点
- 长时间的机器人组装面临感知和动作的可靠性挑战，现有方法在处理复杂接触状态变化时表现不足。
- 本文提出的视触扩散策略通过结合视觉和触觉信息，利用历史数据生成更有效的动作序列。
- 在MuJoCo组装实验中，提出的方法成功率达到59.0%，显著优于传统视觉方法，展示了多模态融合的有效性。
📝 摘要（中文）
长时间的机器人组装需要在抓取、对齐和插入过程中实现可靠的感知和动作。视觉系统捕捉全局物体姿态和场景上下文，而指尖触觉则提供局部接触线索，尤其在接触状态变化时更为重要。本文提出了一种视触扩散策略，结合来自两个摄像头视角和两个指尖触觉图像的四步历史信息，以条件化动作序列生成。通过递归时间表示，整合来自两种模态的近期观察。为鼓励模型捕捉接触在动作下的演变，辅助目标预测指尖图像在时间表示和已演示动作下的变化。该目标仅在训练期间使用，不增加推理时的计算负担。在MuJoCo组装实验中，完整模型在三个独立训练种子上实现了平均成功率59.0%±2.6%，比仅使用视觉的基线（42.7%±1.5%）提高了16.3个百分点。
🔬 方法详解
问题定义：本文旨在解决长时间机器人组装中的感知与动作协调问题，现有方法在复杂接触状态变化时的表现不足，导致成功率低下。
核心思路：提出的视触扩散策略通过结合视觉和触觉信息，利用历史数据来生成动作序列，旨在提高机器人在动态环境中的适应能力。
技术框架：整体架构包括四个主要模块：两个摄像头视角的图像输入、两个指尖触觉图像输入、递归时间表示模块和动作序列生成模块。
关键创新：最重要的创新在于引入辅助目标，预测指尖图像在未来两步的变化，从而增强模型对接触演变的捕捉能力，这一设计与现有方法的本质区别在于多模态信息的有效融合。
关键设计：模型在训练时使用的损失函数包括主目标和辅助目标，确保模型不仅学习当前状态，还能预测未来状态，网络结构采用递归神经网络以处理时间序列数据。
📊 实验亮点
实验结果表明，提出的视触扩散策略在MuJoCo组装任务中实现了59.0%的成功率，相较于仅使用视觉的基线（42.7%）提升了16.3个百分点，验证了多模态融合在机器人操作中的有效性。
🎯 应用场景
该研究在机器人组装、自动化制造和人机交互等领域具有广泛的应用潜力。通过提高机器人在复杂环境中的操作能力，能够推动智能制造和服务机器人技术的发展，提升生产效率和安全性。
📄 摘要（原文）
Long-horizon robotic assembly requires reliable perception and action across grasping, alignment, and insertion. Vision captures global object pose and scene context, where as fingertip touch provides local contact cues that are especially useful as contact states change. We present a visuotactile diffusion policy that combines four-step histories from two camera views and two fingertip tactile images to condition action-sequence generation. A recurrent temporal representation integrates recent observations from both modalities. To encourage it to capture how contact evolves under action, an auxiliary objective predicts fingertip-image changes two steps ahead from the temporal representation and demonstrated actions. This objective is used only during training and adds no inference-time computation. Across three independent training seeds in MuJoCo assembly experiments, the full model achieves an average success rate of $59.0\% \pm 2.6\%$, improving on the visual-only baseline ($42.7\% \pm 1.5\%$) by 16.3 percentage points.