CABLE: Cloud-Assisted Bandwidth-efficient LMM-based Encoding for V2X Systems

📄 arXiv: 2606.19258v1 📥 PDF

作者: Haohua Que, Zhipeng Bao, Qianyi Wu, Handong Yao

分类: cs.CV, cs.RO

发布日期: 2026-06-17

💡 一句话要点

提出CABLE以解决V2X系统中的带宽效率问题

🎯 匹配领域: 支柱三：空间感知与语义 (Perception & Semantics) 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 车联网 边缘计算 多模态模型 数据传输 智能交通

📋 核心要点

  1. 现有方法在将全分辨率帧从边缘传输到云端时，面临严重的通信开销和高延迟问题。
  2. CABLE通过自我运动补偿和残余运动线索，优化了边缘到云的图像传输过程，提升了带宽效率。
  3. 实验结果显示，CABLE在多个数据集上实现了73%-87%的ROI像素覆盖率减少，同时LMM预填充速度提升5-8倍。

📝 摘要（中文）

云托管的大型多模态模型（LMMs）能够为车联网系统提供强大的开放词汇感知能力，但直接将全分辨率帧从边缘传输到云端会导致严重的通信开销和高云端预填充延迟。本文提出了CABLE，一个云辅助的带宽高效LMM编码框架，用于边缘-云感知。CABLE通过自我运动补偿在边缘传播先前的云分割掩码，利用残余运动线索进行精细化，并通过走廊包络整合不连通区域，形成稳健的兴趣区域（ROI）。仅上传ROI掩码图像，同时将云分割输出反馈作为下一个帧的先验，形成掩码-ROI-LMM反馈循环。在五个数据集（nuScenes、WOD-ZB、Waymo、KITTI和CADC）上的实验表明，通信节省显著，同时感知能力基本保持，ROI像素覆盖率减少73%-87%，LMM预填充速度提升5-8倍，检测质量相对全帧推理有适度权衡。

🔬 方法详解

问题定义：本文旨在解决车联网系统中，边缘到云的全分辨率图像传输导致的高通信开销和延迟问题。现有方法未能有效利用边缘计算资源，导致性能瓶颈。

核心思路：CABLE的核心思路是通过在边缘使用自我运动补偿传播云分割掩码，并结合残余运动线索进行精细化处理，从而减少需要上传的数据量。

技术框架：CABLE框架包括几个主要模块：首先在边缘生成兴趣区域（ROI），然后仅上传ROI掩码图像，最后将云分割输出作为下一个帧的先验，形成一个闭环反馈机制。

关键创新：CABLE的创新在于通过走廊包络整合不连通区域，形成稳健的ROI，并通过掩码-ROI-LMM反馈循环显著降低了数据传输量。与传统方法相比，CABLE在带宽利用率上有本质的提升。

关键设计：在设计中，CABLE采用了自我运动补偿技术，结合残余运动线索进行ROI的生成和优化，确保了在保持感知质量的同时，最大限度地减少了上传数据量。

🖼️ 关键图片

fig_0
fig_1

📊 实验亮点

实验结果表明，CABLE在五个数据集上实现了73%-87%的ROI像素覆盖率减少，同时LMM预填充速度提升5-8倍，相较于全帧推理，检测质量保持在可接受范围内，展现出显著的性能优势。

🎯 应用场景

该研究具有广泛的应用潜力，尤其在智能交通系统、自动驾驶汽车和车联网（V2X）技术中。通过提高边缘计算的效率，CABLE能够显著降低通信成本，提升实时感知能力，推动智能交通的进一步发展。

📄 摘要（原文）

Cloud-hosted large multimodal models (LMMs) can provide strong open-vocabulary perception for Vehicle-to-Everything systems, but naively transmitting full-resolution frames from edge to cloud causes severe communication overhead and high cloud-side prefill latency. We present CABLE, a cloud-assisted bandwidth-efficient LMM-based encoding framework for edge-cloud perception. CABLE propagates the previous cloud segmentation mask on the edge using ego-motion compensation, refines it with residual-motion cues, and consolidates disconnected regions via a corridor envelope to form a robust region of interest (ROI). Only ROI-masked images are uploaded, while the cloud segmentation output is fed back as the prior for the next frame, forming a mask-to-ROI-to-LMM feedback loop. Experiments on five datasets (nuScenes, WOD-ZB, Waymo, KITTI, and CADC) show consistent communication savings while largely preserving perception, achieving $73$--$87\%$ ROI pixel-coverage reduction with $5$--$8\times$ estimated LMM prefill speedup at a modest detection-quality trade-off relative to full-frame inference.