DAM-VLA: Decoupled Asynchronous Multimodal Vision Language Action model
作者: Pankhuri Vanjani, Zhuoyue Li, Jakub Suliga, Moritz Reuss, Gianluca Geraci, Xinkai Jiang, Rudolf Lioutikov
分类: cs.RO, cs.CV, cs.LG
发布日期: 2026-06-10
备注: 17 pages, 8 figures
🔗 代码/项目: PROJECT_PAGE
💡 一句话要点
提出DAM-VLA以解决多模态视觉语言动作模型的时序不匹配问题
🎯 匹配领域: 支柱一：机器人控制 (Robot Control) 支柱九：具身大模型 (Embodied Foundation Models)
关键词: 多模态融合 视觉语言模型 动作生成 机器人控制 高频模态处理
📋 核心要点
- 现有的视觉语言动作模型在处理多模态输入时存在时序不匹配的问题，导致动作生成效率低下。
- 论文提出的DAM-VLA模型通过解耦模态的时间处理，使每个模态以其自身的传感器速率更新信息，从而增强表示能力。
- 实验结果表明，DAM-VLA在七个真实世界操作任务中的成功率达95.2%，显著高于40.95%的同步基线，且实现了100Hz的平滑控制。
📝 摘要（中文）
视觉语言动作（VLA）模型继承了来自视觉语言预训练的共享同步时钟，以统一速率处理所有输入。这种方法与物理交互不匹配，因为高频模态以数百赫兹变化，而视觉变化较慢，语言在整个过程中保持不变。同步的VLA模型过度采样慢速模态，欠采样快速模态，限制了动作生成的有效频率。我们假设，通过对每个模态的时间处理进行解耦，使每个模态以其自身的传感器速率更新和保留信息，可以获得更强的表示和更稳健的控制。我们提出了DAM-VLA，该模型维护以传感器速率刷新、由动作头持续读取的每个模态的潜在缓冲区，通过门控交叉注意力集成新的高频模态，同时保持预训练骨干网络不变。在七个接触丰富的真实世界操作任务中，DAM-VLA的平均成功率超过了最强同步基线的两倍（95.2%对40.95%），同时保持平滑、反应灵敏的100Hz控制。
🔬 方法详解
问题定义：论文要解决的具体问题是现有的视觉语言动作模型在处理多模态输入时，由于同步时钟的限制，导致高频模态和低频模态的信息处理不平衡，从而影响动作生成的效率和效果。
核心思路：论文的核心解决思路是通过解耦每个模态的时间处理，使得每个模态能够以其自身的传感器速率独立更新和保留信息，从而提高模型的表示能力和控制的鲁棒性。
技术框架：DAM-VLA的整体架构包括多个模块：首先是每个模态的潜在缓冲区，这些缓冲区以传感器速率进行刷新；其次是一个动作头，它持续读取这些缓冲区的信息；最后，通过门控交叉注意力机制集成新的高频模态，同时保持预训练的骨干网络不变。
关键创新：最重要的技术创新点在于模态时间处理的解耦设计，使得每个模态可以独立于其他模态进行信息更新，这与现有的同步处理方法本质上不同，显著提高了模型的灵活性和适应性。
关键设计：在关键设计方面，DAM-VLA采用了门控交叉注意力机制来有效整合不同模态的信息，同时保持了预训练网络的完整性。此外，模型的参数设置和损失函数设计也经过精心调整，以优化多模态信息的融合效果。
🖼️ 关键图片
📊 实验亮点
实验结果显示，DAM-VLA在七个真实世界操作任务中的平均成功率达到了95.2%，相比于最强同步基线的40.95%有了显著提升，且能够实现平滑、反应灵敏的100Hz控制，展示了其在多模态处理中的优越性能。
🎯 应用场景
该研究的潜在应用领域包括机器人操作、自动驾驶、智能家居等需要实时多模态信息处理的场景。通过提高多模态交互的效率和准确性，DAM-VLA能够在复杂环境中实现更高水平的自主决策和控制，具有重要的实际价值和未来影响。
📄 摘要（原文）
Vision-language-action (VLA) models inherit a shared synchronous clock from vision-language pretraining, processing every input at one rate. This is misaligned with physical interaction, where a high-frequency modality changes at hundreds of hertz, vision evolves more slowly, and language stays constant across an episode. A synchronous VLA oversamples slow modalities, undersamples fast ones, and caps action generation at the lowest effective frequency. We hypothesize that decoupling temporal processing per modality, letting each update and retain information at its own sensor rate, yields stronger representations and more robust control. We present DAM-VLA, which maintains per-modality latent buffers refreshed at sensor rates and read continuously by the action head, integrating new high-frequency modalities through gated cross-attention that leaves the pretrained backbone intact. Across seven contact-rich real-world manipulation tasks, DAM-VLA more than doubles the average success rate of the strongest synchronous baseline (95.2\% vs.\ 40.95\%) while sustaining smooth, reactive 100\,Hz control. Project website: \href{https://intuitive-robots.github.io/DAM-VLA/}{intuitive-robots.github.io/DAM-VLA/}