Cross-Modal Visuo-Tactile Object Perception
作者: Anirvan Dutta, Simone Tasciotti, Claudia Cusseddu, Ang Li, Panayiota Poirazi, Julijana Gjorgjieva, Etienne Burdet, Patrick van der Smagt, Mohsen Kaboli
分类: cs.RO, cs.LG
发布日期: 2026-04-02
备注: 23 pages, 8 figures, 1 table. Submitted for review to journal
💡 一句话要点
提出跨模态潜在滤波器(CMLF)，用于提升机器人触觉视觉融合的对象属性估计。
🎯 匹配领域: 支柱一：机器人控制 (Robot Control)
关键词: 跨模态融合 视觉触觉感知 机器人操作 贝叶斯滤波 潜在状态空间
📋 核心要点
- 现有视觉触觉融合方法在处理物体属性估计时，未能充分考虑不确定性及信念随时间的演变。
- 论文提出跨模态潜在滤波器(CMLF)，通过学习结构化的潜在状态空间，实现跨模态先验传递和贝叶斯推理。
- 实验表明，CMLF在不确定性下提高了物理属性估计的效率和鲁棒性，并展现出类似人类的感知耦合现象。
📝 摘要（中文）
在自主机器人操作中，准确估计物体物理属性至关重要。视觉和触觉传感提供了互补信息，但这些属性的间接可观测性和复杂建模（如非刚性物体的形变和非线性摩擦）使得估计问题极具挑战。现有方法侧重于强制融合或静态对齐，忽略了不确定性下物体属性信念的演变。受人类多感官感知和主动推理的启发，我们提出了跨模态潜在滤波器(CMLF)，用于学习物体物理属性的结构化因果潜在状态空间。CMLF支持视觉和触觉之间的双向跨模态先验传递，并通过贝叶斯推理过程整合感觉证据。真实机器人实验表明，CMLF提高了不确定性下潜在物理属性估计的效率和鲁棒性。该模型还表现出与人类相似的感知耦合现象，包括易受跨模态错觉影响和相似的跨感官关联学习轨迹。这些结果是朝着通用、鲁棒和物理一致的机器人多感官融合迈出的重要一步。
🔬 方法详解
问题定义：论文旨在解决机器人操作中，如何有效融合视觉和触觉信息，从而更准确、鲁棒地估计物体的物理属性，如几何形状、姿态、惯性、刚度和接触动力学等。现有方法主要存在以下痛点：一是过度依赖强制传感器融合或静态跨模态对齐，忽略了时间维度上信息演化；二是难以处理非刚性物体的形变和非线性摩擦等复杂物理现象带来的不确定性。
核心思路：论文的核心思路是借鉴人类多感官感知和主动推理机制，构建一个能够学习物体物理属性的结构化、因果潜在状态空间。通过跨模态先验传递和贝叶斯推理，模型能够随着时间推移，不断整合视觉和触觉信息，更新对物体属性的信念，从而提高估计的准确性和鲁棒性。这种方法允许模型在不确定性下进行推理，并能捕捉到跨模态信息之间的复杂关系。
技术框架：CMLF的整体框架包含以下几个主要模块：首先，视觉和触觉传感器分别提供输入；然后，通过编码器将这些输入映射到潜在状态空间；接着，利用跨模态先验传递机制，将视觉和触觉信息相互融合，形成一个统一的潜在状态表示；最后，通过贝叶斯滤波器，随着时间推移，不断更新潜在状态，并输出对物体物理属性的估计。该框架支持双向的信息传递，允许视觉信息影响触觉感知，反之亦然。
关键创新：CMLF的关键创新在于其跨模态潜在状态空间的构建和贝叶斯滤波器的应用。传统的融合方法通常直接在传感器层面进行融合，而CMLF则通过学习一个潜在状态空间，将视觉和触觉信息映射到同一个空间中，从而更好地捕捉它们之间的关系。此外，贝叶斯滤波器的应用使得模型能够随着时间推移，不断更新对物体属性的信念，从而提高估计的鲁棒性。CMLF还模拟了人类的感知耦合现象，使其在处理跨模态信息时更加自然。
关键设计：CMLF的具体实现细节包括：使用深度神经网络作为编码器和解码器，将视觉和触觉信息映射到潜在状态空间；采用变分自编码器(VAE)框架，学习潜在状态的分布；使用卡尔曼滤波器或粒子滤波器等贝叶斯滤波器，进行状态更新；设计合适的损失函数，鼓励模型学习到有意义的潜在状态表示，并实现跨模态信息的有效融合。具体的参数设置和网络结构需要根据具体的应用场景进行调整。
🖼️ 关键图片
📊 实验亮点
实验结果表明，CMLF在不确定性条件下，能够更准确地估计物体的物理属性，相比于基线方法，在估计精度和鲁棒性方面均有显著提升。此外，CMLF还展现出与人类相似的感知耦合现象，例如易受跨模态错觉的影响，以及在学习跨感官关联时表现出相似的轨迹。这些结果验证了CMLF的有效性和合理性。
🎯 应用场景
该研究成果可应用于各种需要机器人与环境进行复杂交互的场景，例如：自主装配、精密操作、医疗机器人辅助手术、以及在未知环境中进行物体识别和操作等。通过提升机器人对物体物理属性的感知能力，可以显著提高其操作的安全性、效率和适应性，为实现更智能、更可靠的机器人系统奠定基础。
📄 摘要（原文）
Estimating physical properties is critical for safe and efficient autonomous robotic manipulation, particularly during contact-rich interactions. In such settings, vision and tactile sensing provide complementary information about object geometry, pose, inertia, stiffness, and contact dynamics, such as stick-slip behavior. However, these properties are only indirectly observable and cannot always be modeled precisely (e.g., deformation in non-rigid objects coupled with nonlinear contact friction), making the estimation problem inherently complex and requiring sustained exploitation of visuo-tactile sensory information during action. Existing visuo-tactile perception frameworks have primarily emphasized forceful sensor fusion or static cross-modal alignment, with limited consideration of how uncertainty and beliefs about object properties evolve over time. Inspired by human multi-sensory perception and active inference, we propose the Cross-Modal Latent Filter (CMLF) to learn a structured, causal latent state-space of physical object properties. CMLF supports bidirectional transfer of cross-modal priors between vision and touch and integrates sensory evidence through a Bayesian inference process that evolves over time. Real-world robotic experiments demonstrate that CMLF improves the efficiency and robustness of latent physical properties estimation under uncertainty compared to baseline approaches. Beyond performance gains, the model exhibits perceptual coupling phenomena analogous to those observed in humans, including susceptibility to cross-modal illusions and similar trajectories in learning cross-sensory associations. Together, these results constitutes a significant step toward generalizable, robust and physically consistent cross-modal integration for robotic multi-sensory perception.