RGB-S: Image-Aligned Tactile Saliency for Robust Dexterous Manipulation
作者: Shengcheng Luo, Kefei Wu, Xiaoying Zhou, Wanlin Li, Ziyuan Jiao, Chenxi Xiao
分类: cs.RO, cs.CV
发布日期: 2026-06-12
💡 一句话要点
提出RGB-S框架以解决视觉信息不可靠下的触觉感知问题
🎯 匹配领域: 支柱一：机器人控制 (Robot Control)
关键词: 视觉-触觉整合 灵巧操作 机器人技术 空间推理 多模态学习
📋 核心要点
- 现有方法在视觉观察不可靠或被遮挡的情况下，难以有效整合触觉和视觉信息，导致操作性能下降。
- 本文提出RGB-S框架，通过将触觉传感器位置投影到图像平面，显式地将物理接触与视觉信息对齐。
- 在六个灵巧操作任务的实验中，RGB-S框架在严重视觉遮挡下的成功率提升了26.7个百分点，显示出其优越的空间推理能力。
📝 摘要（中文）
有效的视觉-触觉整合对于机器人灵巧操作至关重要，尤其在视觉观察不可靠或被遮挡时。然而，如何将稀疏的触觉测量与密集的视觉表示进行稳健对齐仍然是一个基本挑战。现有方法通常依赖于有限示例隐式学习跨模态对应关系，未能利用几何先验，导致数据效率低下且在视觉观察退化时泛化能力差。为了解决这一局限性，本文提出了一种框架，明确将物理接触与图像域对齐。通过机器人正向运动学和相机标定，我们将触觉传感器位置直接投影到RGB图像平面，并渲染力调制的高斯显著性图以建模运动学和标定误差引起的空间不确定性。通过零初始化的条件架构整合这些二维空间锚点，我们的方法在保留预训练视觉表示的同时，将物理接触先验注入标准视觉骨干网络中。
🔬 方法详解
问题定义：本文旨在解决在视觉信息不可靠或被遮挡情况下，如何有效整合触觉和视觉信息的问题。现有方法往往依赖有限的示例进行隐式学习，未能利用几何先验，导致数据效率低下和泛化能力差。
核心思路：本文提出的RGB-S框架通过将触觉传感器位置直接投影到RGB图像平面，明确地将物理接触与视觉信息对齐，从而提高操作的鲁棒性和准确性。
技术框架：该框架包括触觉传感器位置的投影、力调制的高斯显著性图的渲染，以及通过零初始化的条件架构整合这些二维空间锚点，最终将物理接触先验注入标准视觉骨干网络中。
关键创新：最重要的创新在于显式地将触觉信息与视觉信息对齐，利用几何先验进行空间锚点的整合，从而提升了在视觉遮挡情况下的操作成功率。
关键设计：在技术细节上，本文设计了力调制的高斯显著性图以建模空间不确定性，并采用零初始化的条件架构来整合触觉和视觉信息，确保了预训练视觉表示的保留与有效利用。
🖼️ 关键图片
📊 实验亮点
实验结果表明，RGB-S框架在六个灵巧操作任务中，成功率在严重视觉遮挡情况下提升了26.7个百分点，相较于最强的隐式视觉-触觉基线，显示出显著的性能提升，验证了其在空间推理和遮挡鲁棒性方面的优势。
🎯 应用场景
该研究的潜在应用领域包括机器人抓取、物体操作和人机交互等场景，尤其是在视觉信息受限的环境中。通过提高机器人在复杂环境中的操作能力，未来可能推动更广泛的自动化和智能化应用，提升机器人在实际任务中的表现和适应性。
📄 摘要（原文）
Effective visuo-tactile integration is critical for robotic dexterous manipulation, especially when visual observations are unreliable or occluded. However, robustly aligning sparse, heterogeneous tactile measurements with dense visual representations remains a fundamental challenge. Most existing approaches require policies to learn cross-modal correspondences implicitly from limited demonstrations, without leveraging geometric priors. As a result, they are often data-inefficient and generalize poorly when visual observations are degraded. To address this limitation, we propose a framework that explicitly grounds physical contacts in the image domain. Using robot forward kinematics and camera calibration, we project tactile sensor locations directly onto the RGB image plane. We then render force-modulated Gaussian saliency maps to model spatial uncertainty arising from kinematic and calibration errors. By integrating these 2D spatial anchors through a zero-initialized conditioning architecture, our method injects physical contact priors into standard visual backbones while preserving pre-trained visual representations. We evaluate our method on six dexterous manipulation tasks in both simulation and the real world under severe visual occlusions. Real-world experiments show that explicit RGB-S grounding in the image domain improves real-world occluded manipulation success rates by $26.7$ percentage points over the strongest implicit visuo-tactile baseline, suggesting its improved spatial reasoning and robustness to occlusion. Project page:this http URL