Wake up for Touch! Mask-isolated Tactile Alignment Learning in MLLMs

📄 arXiv: 2607.00302v1 📥 PDF

作者: Yoonhyung Park, Minji Kim, Sungwon Moon, Jiyoung Lee

分类: cs.CV, cs.MM, cs.RO

发布日期: 2026-07-01

备注: ECCV 2026, Project page: http://mmai.ewha.ac.kr/splash/

💡 一句话要点

提出Splash框架以解决多模态LLMs触觉对齐问题

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 多模态大语言模型 触觉感知 视觉-语言推理 参数空间划分 灾难性遗忘 非破坏性模态扩展 掩码隔离 触觉对齐

📋 核心要点

  1. 现有方法在多模态大语言模型中引入触觉感知时面临参数预算限制，导致新旧感知模态之间的选择困境。
  2. 论文提出的Splash框架通过掩码隔离的方式，量化参数重要性并更新休眠子空间，实现触觉对齐。
  3. 实验结果显示，Splash在不增加推理开销的情况下，达到了视觉-触觉基准的最先进性能，且保留了原有能力。

📝 摘要（中文）

触觉为感知材料的内在属性提供了物理基础，而仅依赖视觉往往无法解决这一问题。近期在多模态大语言模型（MLLMs）中引入触觉感知的努力暴露出一种零和博弈：紧凑模型的参数预算限制了新感知模态的获取与已建立的视觉-语言推理之间的选择。本文提出了Splash，一个面向MLLMs的掩码隔离触觉对齐学习框架。Splash量化每个预训练参数的重要性，并将参数空间划分为休眠和关键子空间。冻结的关键子空间作为稳定锚点保护一般视觉知识，而Splash则更新孤立的休眠子空间以实现触觉对齐。大量实验表明，Splash在不增加LLM推理开销的情况下有效实现触觉推理，并在SSVTP、TVL和TacQuad等视觉-触觉基准上展示了最先进的性能，同时保持了原有的通用能力。

🔬 方法详解

问题定义：本文旨在解决多模态大语言模型中触觉感知与视觉-语言推理之间的参数预算冲突问题。现有方法在引入新感知模态时，往往会导致已建立的视觉推理能力的损失。

核心思路：Splash框架的核心思想是通过掩码隔离的方式，将参数空间划分为休眠和关键子空间，保持关键子空间的稳定性，同时更新休眠子空间以实现触觉对齐。这样的设计可以有效防止灾难性遗忘，并实现非破坏性的模态扩展。

技术框架：Splash的整体架构包括参数重要性量化、参数空间划分、关键子空间冻结和休眠子空间更新等主要模块。首先，量化每个参数的重要性，然后将其划分为两个子空间，最后在保持关键子空间不变的情况下，更新休眠子空间以实现触觉对齐。

关键创新：Splash的最大创新在于其掩码隔离的触觉对齐学习方法，能够在不损失视觉推理能力的前提下，实现触觉感知的有效整合。这一方法与现有的直接整合新模态的策略本质上不同。

关键设计：在参数设置上，Splash采用了特定的损失函数来平衡视觉和触觉的学习，同时在网络结构上，设计了适应性更新机制，以确保休眠子空间的有效性和稳定性。具体的参数量化方法和更新策略在实验中经过验证，确保了模型的高效性。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果表明，Splash在SSVTP、TVL和TacQuad等视觉-触觉基准上达到了最先进的性能，具体提升幅度超过了现有方法，且在LLM推理过程中没有增加额外的开销，展示了其高效性和实用性。

🎯 应用场景

该研究的潜在应用领域包括机器人触觉感知、智能人机交互以及增强现实等。通过有效整合触觉与视觉信息，能够提升机器在复杂环境中的感知能力和决策水平，具有广泛的实际价值和未来影响。

📄 摘要（原文）

Touch supplies the physical grounding needed to perceive intrinsic material properties, such as friction and compliance, that vision alone often cannot resolve. Recent efforts for equipping multimodal LLMs with this tactile sense, however, expose a zero-sum trade-off: the limited parameter budget of compact models forces a choice between acquiring the new sensory modality and preserving the established vision-language reasoning. We present Splash, a mask-isolated tactile alignment learning framework for MLLMs. Splash quantifies the significance of each pretrained parameter, and partitions the parameter space into a dormant and critical subspace. While the frozen critical subspace acts as a stable anchor to safeguard general visual knowledge, Splash updates the isolated dormant subspace to internalize tactile alignment towards LLMs. This selective, non-destructive expansion effectively prevents catastrophic forgetting and ensures non-destructive modality expansion. Extensive experiments show that Splash effectively achieves tactile reasoning without additional inference overhead in the LLM part, demonstrating state-of-the-art performance on visuo-tactile benchmarks, including SSVTP, TVL, and TacQuad, while preserving its original general-purpose capabilities.