CL4D: Contrastive Language-4D Pretraining for Vision-Language Reasoning in Dynamic Scenes

📄 arXiv: 2608.18734v1 📥 PDF

作者: Kumal Hewagamage, Isuranga Senavirathne, Sasika Amarasinghe, Hasitha Gallella, Dulanga Weerakoon, Vigneshwaran Subbaraju, Ranga Rodrigo

分类: cs.CV

发布日期: 2026-08-19

备注: Accepted at the 19th European Conference on Computer Vision (ECCV 2026)

💡 一句话要点

提出CL4D以解决动态场景中的视觉语言推理问题

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture) 支柱三：空间感知与语义 (Perception & Semantics) 支柱四：生成式动作 (Generative Motion) 支柱六：视频提取与匹配 (Video Extraction) 支柱七：动作重定向 (Motion Retargeting) 支柱八：物理动画 (Physics-based Animation) 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 动态场景理解 视觉语言推理 对比学习 4D视觉编码器 多模态检索

📋 核心要点

  1. 现有方法主要局限于静态图像或缺乏几何深度推理的2D视频，无法有效处理动态场景中的时空信息。
  2. CL4D通过对比学习直接在动态点云上进行训练，能够对齐时空几何表示与自然语言描述，支持多种检索任务。
  3. 实验结果表明，CL4D在多个基准测试中表现优异，性能提升约16.75%，4DVLM在与前沿视频VLM的对比中也表现突出。

📝 摘要（中文）

4D理解和推理是操作于动态物理环境中的具身AI代理的基本能力。然而，现有的视觉编码器主要局限于静态2D图像或缺乏准确几何深度推理的2D视频，无法有效捕捉动态场景中的空间结构和运动演变。本文提出CL4D，这是第一个直接操作动态点云的基础4D视觉编码器，通过对比学习目标将时空几何表示与自然语言描述对齐。CL4D支持在动态环境中进行零样本的运动到文本和文本到运动检索，并为下游4D视觉语言任务提供基础。基于此编码器，我们引入4DVLM，这是第一个直接在4D点云上操作的视觉语言模型。通过在新构建的数据集DynAction4D上进行训练，CL4D在多个4D人类动作基准上实现了最先进的性能，提升约16.75%。

🔬 方法详解

问题定义：本文旨在解决动态场景中视觉语言推理的不足，现有方法无法有效捕捉时空信息，导致推理能力受限。

核心思路：CL4D通过对比学习在动态点云上进行训练，构建一个共享的嵌入空间，使得时空几何表示与自然语言描述相互对齐，从而实现运动与文本之间的检索。

技术框架：整体架构包括动态点云输入、对比学习模块和语言生成模块。CL4D作为基础编码器，支持后续的4DVLM模型进行语言生成。

关键创新：CL4D是首个直接在动态点云上操作的4D视觉编码器，突破了以往依赖于静态图像或视频的限制，能够同时处理空间结构和运动演变。

关键设计：在训练过程中，采用了特定的对比损失函数，以确保时空几何表示与文本描述的有效对齐，同时设计了适应动态场景的网络结构，以提高模型的表达能力。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果显示，CL4D在多个4D人类动作基准上实现了最先进的性能，提升幅度约为16.75%。此外，4DVLM在与前沿视频VLM（如Gemini和GPT-5）的对比中表现优异，即使在提供相同场景的RGB视频序列时，仍能超越这些模型。

🎯 应用场景

该研究的潜在应用领域包括机器人导航、自动驾驶、虚拟现实等动态环境中的智能系统。通过提升对动态场景的理解能力，CL4D和4DVLM能够为具身AI代理提供更强的推理能力，推动智能交互的发展。未来，这些技术可能会在多模态学习和人机交互中发挥重要作用。

📄 摘要（原文）

4D understanding and reasoning is a fundamental capability for embodied AI agents operating in dynamic physical environments. However, existing vision encoders are largely limited to static 2D images or 3D point clouds without temporal modeling, or to 2D videos that lack accurate geometric depth reasoning. Consequently, current approaches fail to jointly capture spatial structure and motion evolution in dynamic scenes. We present CL4D, the first foundational 4D vision encoder that directly operates on dynamic point clouds, trained with a contrastive learning objective to align spatio-temporal geometric representations with natural language descriptions. By learning a shared embedding space between text and 4D scene dynamics, CL4D enables zero-shot motion-to-text and text-to-motion retrieval in dynamic environments and serves as a foundational 4D vision encoder for downstream 4D vision-language tasks. Building on this encoder, we introduce 4DVLM, a 4D vision-language model that conditions language generation on dynamic geometric representations. 4DVLM is the first VLM designed to operate directly on 4D point clouds without relying on 2D images, 2D videos, or static 3D point clouds. We train CL4D and subsequently 4DVLM on a newly constructed dataset termed DynAction4D capturing diverse human motions across varying object interactions and scene environments. Extensive experiments across multiple 4D human action benchmarks demonstrate that CL4D achieves state-of-the-art performance, with improvements of approximately ~16.75% over prior methods. Furthermore, 4DVLM outperforms frontier video VLMs such as Gemini and GPT-5 even when these models are provided with RGB video sequences corresponding to the same scenes represented as 4D point clouds for 4DVLM.