Self-Adapting Large Visual-Language Models to Edge Devices across Visual Modalities

📄 arXiv: 2403.04908v3 📥 PDF

作者: Kaiwen Cai, Zhekai Duan, Gaowen Liu, Charles Fleming, Chris Xiaoxuan Lu

分类: cs.CV

发布日期: 2024-03-07 (更新: 2024-10-01)

备注: ECCV2024 Accepted

💡 一句话要点

提出EdgeVL框架以解决边缘设备上视觉语言模型适应性问题

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture) 支柱三：空间感知与语义 (Perception & Semantics)

关键词: 视觉语言模型 边缘计算 知识蒸馏 量化学习 多模态处理 模型压缩 开放词汇分类

📋 核心要点

  1. 现有视觉语言模型在边缘设备上部署时面临多模态处理、手动标注和计算资源限制等挑战。
  2. 论文提出EdgeVL框架，通过双模态知识蒸馏和量化感知对比学习，解决了大型VL模型的适应性问题。
  3. 实验结果表明，EdgeVL在多个数据集上实现了最高15.4%的准确率提升和93倍的模型大小减少。

📝 摘要（中文）

近年来，视觉语言（VL）模型的进展引发了在边缘设备上部署的兴趣，但在处理多样化视觉模态、手动标注和计算约束方面仍面临挑战。我们提出了EdgeVL，一个新颖的框架，通过无缝集成双模态知识蒸馏和量化感知对比学习来弥补这一差距。该方法使得大型VL模型（如CLIP）能够高效地在资源有限的设备上使用RGB和非RGB图像，而无需手动标注。EdgeVL不仅将视觉语言对齐能力转移到紧凑模型上，还在量化后保持特征质量，显著提升了各种视觉模态下的开放词汇分类性能。我们的工作是首次系统性地将大型VL模型适应于边缘部署，展示了在多个数据集上高达15.4%的准确率提升和模型大小最高93倍的减少。

🔬 方法详解

问题定义：本论文旨在解决大型视觉语言模型在边缘设备上适应性不足的问题。现有方法在处理多样化视觉模态时，通常需要手动标注，并且计算资源消耗较大，限制了其在资源有限设备上的应用。

核心思路：论文的核心思路是通过EdgeVL框架，结合双模态知识蒸馏和量化感知对比学习，来实现大型VL模型的高效适应。这样的设计使得模型能够在不依赖手动标注的情况下，适应不同类型的视觉输入。

技术框架：EdgeVL框架主要包括两个模块：双模态知识蒸馏模块和量化感知对比学习模块。前者用于从大型模型中提取知识，后者则确保在量化过程中保持特征质量。整体流程是先进行知识蒸馏，再进行量化学习。

关键创新：本研究的关键创新在于首次系统性地将大型VL模型适应于边缘设备，且实现了在量化后仍能保持高质量特征。与现有方法相比，EdgeVL在模型压缩和性能提升方面具有显著优势。

关键设计：在参数设置上，EdgeVL采用了适应性量化策略，损失函数设计上结合了对比损失和蒸馏损失，以确保模型在压缩后的性能。同时，网络结构上进行了优化，以适应不同视觉模态的输入。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果显示，EdgeVL在多个数据集上实现了最高15.4%的准确率提升，同时模型大小减少了最高93倍。这一显著的性能提升和压缩效果，展示了EdgeVL在边缘设备上应用的巨大潜力。

🎯 应用场景

EdgeVL框架具有广泛的应用潜力，特别是在智能手机、物联网设备和边缘计算环境中。其高效的视觉语言处理能力可以推动智能助手、自动驾驶和增强现实等领域的发展，提升用户体验和系统性能。未来，EdgeVL有望在更多实际应用中实现更高的智能化水平。

📄 摘要（原文）

Recent advancements in Vision-Language (VL) models have sparked interest in their deployment on edge devices, yet challenges in handling diverse visual modalities, manual annotation, and computational constraints remain. We introduce EdgeVL, a novel framework that bridges this gap by seamlessly integrating dual-modality knowledge distillation and quantization-aware contrastive learning. This approach enables the adaptation of large VL models, like CLIP, for efficient use with both RGB and non-RGB images on resource-limited devices without the need for manual annotations. EdgeVL not only transfers visual language alignment capabilities to compact models but also maintains feature quality post-quantization, significantly enhancing open-vocabulary classification performance across various visual modalities. Our work represents the first systematic effort to adapt large VL models for edge deployment, showcasing up to 15.4% accuracy improvements on multiple datasets and up to 93-fold reduction in model size.