DLAM: Distributional Latent Actions with Temporal Constraints
作者: Zuojin Tang, Feifan Luo, Haoyun Liu, Botai Yuan, Dekang Qi, Ronghan Chen, Yandan Yang, Tong Lin, Xinyuan Chang, Mu Xu, Bin Liu, De Ma, Zhiheng Ma
分类: cs.RO, cs.AI, cs.CV
发布日期: 2026-07-29
💡 一句话要点
提出DLAM以解决机器人动作标注数据稀缺问题
🎯 匹配领域: 支柱一：机器人控制 (Robot Control) 支柱二：RL算法与架构 (RL & Architecture) 支柱九：具身大模型 (Embodied Foundation Models)
关键词: 视觉-语言-动作 潜在动作模型 高斯分布 时间一致性 策略学习 机器人控制 多模态学习
📋 核心要点
- 现有的潜在动作模型在处理机器人动作标注数据稀缺时存在结构不足的问题，导致预测的未来观察缺乏必要的生成结构。
- DLAM通过将每个过渡表示为对角高斯分布，结合重建条件和归一化组合，解决了现有方法的局限性，实现了更好的时间一致性。
- 实验结果显示，DLAM在保持过渡的一致性和重建精度方面优于现有基线，并在多个任务中提升了策略性能。
📝 摘要（中文）
视觉-语言-动作（VLA）模型受到动作标注机器人数据稀缺的限制，而无动作视频提供了丰富的物理变化观察。现有的潜在动作模型虽然能够提取这些先验知识，但重建训练的编码可能会在缺乏与机器人动作联合生成所需结构的情况下预测未来观察。为此，本文提出了DLAM，一个分布式潜在动作模型，将每个过渡表示为对角高斯分布。重建条件基于参考帧，使均值与观察到的视觉变化相结合，同时通过归一化组合和反转约束均值和维度方差。实验表明，DLAM在保持过渡的一致性和重建精度方面优于现有基线，并在MetaWorld MT50、LIBERO和实际操作任务中提升了策略性能。
🔬 方法详解
问题定义：本文旨在解决视觉-语言-动作模型中因缺乏动作标注数据而导致的生成结构不足问题。现有方法在推断过渡时，局部推断的残差错误可能会在递归组合中传播和累积。
核心思路：DLAM通过将每个过渡建模为对角高斯分布，利用重建条件和归一化组合来约束均值和方差，从而实现更稳定的潜在动态学习。
技术框架：DLAM的整体架构包括编码器、重建模块和策略学习模块。编码器提取视觉特征，重建模块基于参考帧进行条件重建，而策略学习模块则训练流匹配策略以生成均值过渡序列和机器人动作。
关键创新：DLAM的主要创新在于使用对角高斯分布表示过渡，并通过归一化组合和反转来约束均值和方差，这与现有方法的确定性过渡点形成鲜明对比。
关键设计：在设计中，采用轻量级共享相关系数来处理相邻过渡之间的依赖关系，同时在反转过程中保留方差并抵消均值。此外，损失函数的设计强调了均值约束对重建增益的贡献。
🖼️ 关键图片
📊 实验亮点
实验结果表明，DLAM在保持过渡的一致性方面优于现有潜在动作基线，且在重建精度上实现了显著提升。在MetaWorld MT50、LIBERO和实际操作任务中，DLAM的策略性能也得到了显著改善，展示了其在复杂任务中的有效性。
🎯 应用场景
该研究的潜在应用领域包括机器人控制、自动化操作和智能视频分析等。通过提升机器人在复杂环境中的动作生成能力，DLAM可以为实际操作任务提供更可靠的支持，推动智能机器人技术的发展。未来，该模型可能在多模态学习和人机交互等领域产生深远影响。
📄 摘要（原文）
Vision-language-action (VLA) models remain constrained by scarce action-labeled robot data, whereas action-free videos offer abundant observations of physical change. Latent action models can extract such priors, but reconstruction-trained codes may predict future observations without the structure required for joint generation with robot actions. Existing structured methods add temporal constraints but retain deterministic transition points, so residual errors in locally inferred transitions may propagate and compound under recursive composition. We introduce DLAM, a distributional latent-action model that represents each transition as a diagonal Gaussian. Reconstruction conditioned on the reference frame grounds the mean in observed visual change, while normalized composition and reversal over equal-gap triplets constrain both the mean and dimension-wise variance. Variance composition uses a lightweight shared-correlation coefficient to account for dependence between adjacent transitions that share an intermediate frame, whereas reversal negates the mean and preserves the variance. For downstream policy learning, we freeze the encoder and train a flow-matching policy to jointly generate mean transition sequences and robot actions. On held-out transitions, DLAM learns more temporally consistent latent dynamics than existing latent-action baselines and achieves stronger direct and cumulative reconstruction on held-out videos. Under the same controlled $π_0$ transfer protocol, it also improves policy performance on MetaWorld MT50, LIBERO, and real-world manipulation tasks. Controlled ablations show that normalized mean constraints account for most of the reconstruction gain, while learned variance and correlation-aware composition provide complementary improvements in downstream control.