Tri-Efficient Transfer Learning for Point Cloud Videos

📄 arXiv: 2606.24175v1 📥 PDF

作者: Yiding Sun, Dongxu Zhang, Jihua Zhu, Haozhe Cheng, Zhengqiao Li, Pengcheng Li, Chaowei Fang, Yonghao Dong, Lin Chen

分类: cs.CV

发布日期: 2026-06-23

💡 一句话要点

提出PoinTriE以解决点云视频理解中的高成本和内存瓶颈问题

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture) 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 点云视频理解 参数高效微调 伪运动轨迹 多模态对比学习 轻量级网络 内存效率 动作识别 语义分割

📋 核心要点

  1. 现有的PEFT方法在大规模点云数据集的标注成本和内存使用上存在显著瓶颈，限制了其应用。
  2. 本文提出PoinTriE框架，通过合成伪运动轨迹和轻量级网络设计，显著提高了数据、参数和内存效率。
  3. 实验结果表明，PoinTriE在动作识别和语义分割任务上达到了新的最先进水平，展示了其有效性。

📝 摘要（中文）

尽管点云基础模型在点云视频理解方面取得了显著进展，但现有的参数高效微调（PEFT）方法仍面临两个关键限制：大规模点云数据集的标注成本高和严重的内存瓶颈。本文旨在从现有数据中挖掘更丰富的监督信号，而不是盲目扩展数据集。我们提出了PoinTriE，一个统一框架，在数据、参数和内存效率三个维度上表现优异。通过合成伪运动轨迹并结合多模态对比学习等技术，PoinTriE在动作识别和语义分割任务上建立了新的最先进结果。

🔬 方法详解

问题定义：本文旨在解决点云视频理解中现有PEFT方法的高标注成本和内存瓶颈问题。现有方法在处理大规模数据集时，往往需要大量的标注数据和计算资源，导致效率低下。

核心思路：PoinTriE框架通过从现有数据中提取更丰富的监督信号，结合伪运动轨迹的合成和轻量级网络设计，旨在降低微调过程中的内存占用和参数开销。

技术框架：PoinTriE的整体架构包括三个主要模块：伪运动轨迹合成模块、几何运动双重网络和轻量级时空侧网络。在预训练阶段，合成的伪运动轨迹与文本语料和2D投影结合，进行多模态对比学习。微调阶段则冻结预训练的主干网络，仅更新时空侧网络。

关键创新：PoinTriE的主要创新在于其统一框架同时优化数据、参数和内存效率，特别是通过引入梯度流掩蔽策略，显著降低了内存消耗和参数开销。

关键设计：在网络结构上，采用LoRA单元构建轻量级时空侧网络，损失函数设计包括多模态对比损失、刚性旋转预测损失和运动分布散度损失，以实现密集自监督学习。通过这些设计，PoinTriE在保持性能的同时，显著提升了效率。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

在广泛的实验中，PoinTriE在动作识别和语义分割任务上达到了新的最先进结果，超越了现有基线，具体性能提升幅度达到XX%（具体数据待补充）。该框架的设计有效解决了内存瓶颈问题，展示了其在实际应用中的潜力。

🎯 应用场景

PoinTriE的研究成果在多个领域具有潜在应用价值，包括自动驾驶、机器人视觉和增强现实等。通过提高点云视频理解的效率，该框架能够支持实时处理和分析，推动相关技术的进步和应用落地。

📄 摘要（原文）

While point cloud foundation models have significantly advanced point cloud video understanding, existing parameter-efficient fine-tuning (PEFT) methods still suffer from two critical limitations: prohibitive annotation costs for large-scale point cloud datasets and severe memory bottlenecks. In this paper, we aim to mine richer supervision signals from existing data rather than blindly scaling datasets. A further key principle is that the memory footprint of fine-tuning must be drastically reduced compared to full fine-tuning, which remains elusive for current PEFT techniques. Driven by these challenges, we identify three core desiderata: data-, parameter-, and memory efficiency, and present PoinTriE, a unified framework that excels along all three dimensions. For pre-training, pseudo-motion trajectories are synthesized via rigid transformations, paired with text corpora and 2D projections derived from raw point clouds. We then propose a Geometric-Motion Duality Network optimized via multimodal contrastive learning, rigid rotation prediction, and motion distribution divergence to produce dense self-supervision. During fine-tuning, we freeze the pretrained backbone and only update a lightweight Spatio-temporal Side Network built with LoRA units. Equipped with a gradient flow masking strategy, PoinTriE simultaneously reduces memory consumption and parameter overhead. Extensive experiments confirm that PoinTriE establishes new state-of-the-art results on action recognition and semantic segmentation tasks.