4D-VLA: Spatiotemporal Vision-Language-Action Pretraining with Cross-Scene Calibration

📄 arXiv: 2506.22242v2 📥 PDF

作者: Jiahui Zhang, Yurui Chen, Yueming Xu, Ze Huang, Yanpeng Zhou, Yu-Jie Yuan, Xinyue Cai, Guowei Huang, Xingyue Quan, Hang Xu, Li Zhang

分类: cs.CV

发布日期: 2025-06-27 (更新: 2025-11-18)

💡 一句话要点

提出4D-VLA以解决机器人预训练中的混乱问题

🎯 匹配领域: 支柱八：物理动画 (Physics-based Animation) 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 机器人预训练 时空推理 多模态融合 深度学习 记忆库采样

📋 核心要点

  1. 现有方法在利用机器人数据进行预训练时，面临输入不完整导致的动作分布混乱问题。
  2. 论文提出4D-VLA，通过引入深度和时间信息，校准机器人与场景的坐标系统，增强时空推理能力。
  3. 实验结果显示，4D-VLA在模拟和真实世界实验中，相较于OpenVLA显著提高了成功率，表现出更强的空间理解和适应性。

📝 摘要（中文）

利用多样化的机器人数据进行预训练仍然是一个关键挑战。现有方法通常使用简单观察作为输入来建模数据集的动作分布，但这些输入往往不完整，导致条件动作分布分散，称为坐标系统混乱和状态混乱。这种不一致性显著影响了预训练效率。为此，我们提出了4D-VLA，这是一种新颖的方法，能够有效地将4D信息整合到输入中，以减轻这些混乱源。我们的模型通过顺序RGB-D输入将深度和时间信息引入视觉特征，校准机器人和场景的坐标系统，从而赋予模型强大的时空推理能力，同时最小化训练开销。此外，我们引入了记忆库采样，这是一种从历史图像中提取信息帧的帧采样策略，进一步提高了有效性和效率。实验结果表明，我们的预训练方法和架构组件显著提升了模型性能。

🔬 方法详解

问题定义：论文要解决的问题是现有方法在机器人数据预训练中，由于输入的不完整性导致的坐标系统混乱和状态混乱。这种混乱使得条件动作分布分散，影响了模型的预训练效率。

核心思路：论文的核心解决思路是通过引入4D信息（深度和时间）来校准机器人与场景的坐标系统，从而减轻混乱现象。这样的设计使得模型能够更好地进行时空推理，同时降低训练开销。

技术框架：整体架构包括输入的RGB-D序列，经过特征提取后进行坐标系统的校准，最后通过记忆库采样策略提取信息帧。主要模块包括输入处理、特征提取、坐标校准和采样策略。

关键创新：最重要的技术创新点在于4D信息的引入和记忆库采样策略的设计。这与现有方法的本质区别在于，现有方法通常只依赖于简单的视觉输入，而4D-VLA则通过深度信息和时间序列增强了模型的时空理解能力。

关键设计：在关键设计方面，模型采用了特定的损失函数来优化时空特征的学习，同时在网络结构中引入了深度卷积层以处理RGB-D输入，确保模型能够有效整合多模态信息。具体参数设置和网络结构细节在论文中进行了详细描述。

📊 实验亮点

实验结果表明，4D-VLA在模拟和真实世界实验中，相较于OpenVLA，成功率显著提高，具体提升幅度未知。此外，模型在空间理解和适应性方面表现出更强的能力，验证了其有效性。

🎯 应用场景

该研究的潜在应用领域包括机器人导航、自动驾驶、智能监控等。通过提升机器人对环境的空间理解和适应能力，4D-VLA能够在复杂场景中实现更高效的决策和行动，具有重要的实际价值和未来影响。

📄 摘要（原文）

Leveraging diverse robotic data for pretraining remains a critical challenge. Existing methods typically model the dataset's action distribution using simple observations as inputs. However, these inputs are often incomplete, resulting in a dispersed conditional action distribution-an issue we refer to as coordinate system chaos and state chaos. This inconsistency significantly hampers pretraining efficiency. To address this, we propose 4D-VLA, a novel approach that effectively integrates 4D information into the input to mitigate these sources of chaos. Our model introduces depth and temporal information into visual features with sequential RGB-D inputs, aligning the coordinate systems of the robot and the scene. This alignment endows the model with strong spatiotemporal reasoning capabilities while minimizing training overhead. Additionally, we introduce memory bank sampling, a frame sampling strategy designed to extract informative frames from historical images, further improving effectiveness and efficiency. Experimental results demonstrate that our pretraining method and architectural components substantially enhance model performance. In both simulated and real-world experiments, our model achieves a significant increase in success rate over OpenVLA. To further assess spatial perception and generalization to novel views, we introduce MV-Bench, a multi-view simulation benchmark. Our model consistently outperforms existing methods, demonstrating stronger spatial understanding and adaptability.