Efficient PEFT Methods with Adaptive Checkpointing for Vision Models and VLMs on Resource Constrained Consumer-GPUs

📄 arXiv: 2607.02158 📥 PDF

作者: Altay Toktassyn, Jurn-Gyu Park

分类: cs.CV

发布日期: 2026-07-05

💡 一句话要点

提出自适应检查点的高效PEFT方法以解决资源受限GPU的视觉模型调优问题

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture) 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 参数高效微调 自适应检查点 视觉模型 边缘计算 深度学习 能耗优化 GPU内存管理

📋 核心要点

  1. 现有的预训练视觉模型在微调时对GPU内存的需求过高，限制了其在边缘设备上的应用。
  2. 本文提出了一种自适应检查点算法，并比较了多种参数高效微调方法，以降低内存和能耗。
  3. 实验结果表明，QLoRA和BitFit在保持较高精度的同时，显著降低了能耗，而DINOv2在CIFAR-100上表现优于微调模型。

📝 摘要（中文）

现代预训练视觉模型在精度上表现优异，但在微调时对GPU内存的需求巨大，使得边缘部署变得不切实际。本文比较了五种参数高效微调（PEFT）方法（Full FT、LoRA、AdaLoRA、QLoRA、BitFit），在资源受限的设备上（例如2GB VRAM）评估其在不同视觉骨干网络上的表现。同时，提出了一种基于内存预算的自适应检查点算法，实验结果显示QLoRA和BitFit在1-2%的精度损失下能减少20-30%的能耗，而自适应算法则能降低43-79%的峰值内存，带来9-30%的能耗开销。

🔬 方法详解

问题定义：本文旨在解决现代预训练视觉模型在微调过程中对GPU内存的高需求，导致其在资源受限的边缘设备上难以部署的问题。现有方法在内存和能耗方面存在明显不足。

核心思路：提出了一种自适应检查点算法，结合多种参数高效微调方法，旨在优化内存使用和能耗，同时保持模型的精度。通过动态调整内存使用策略，提升了在有限资源下的训练效率。

技术框架：整体架构包括五种PEFT方法的比较（Full FT、LoRA、AdaLoRA、QLoRA、BitFit），以及三种梯度检查点策略（无、静态和自适应）。实验在不同的视觉骨干网络上进行，评估其在CIFAR-100和DTD数据集上的表现。

关键创新：最重要的技术创新在于提出了一种基于内存预算的自适应检查点算法，能够在显著降低峰值内存的同时，保持较低的能耗开销。这一方法与传统静态检查点策略相比，具有更高的灵活性和效率。

关键设计：在实验中，QLoRA和BitFit在能耗上减少了20-30%，而自适应算法则在内存使用上降低了43-79%。此外，DINOv2在CIFAR-100上的表现超越了微调模型，显示出其在能耗和精度上的优势。具体的参数设置和损失函数设计在实验部分进行了详细描述。

🖼️ 关键图片

fig_0
img_1
img_2

📊 实验亮点

实验结果显示，QLoRA和BitFit在保持1-2%精度损失的情况下，能耗减少了20-30%。自适应检查点算法有效降低了43-79%的峰值内存，带来了9-30%的能耗开销。DINOv2在CIFAR-100上的准确率为0.917，显著优于微调模型的0.897，且能耗更低。

🎯 应用场景

该研究的潜在应用领域包括边缘计算、移动设备上的计算机视觉任务以及资源受限环境下的深度学习模型部署。通过降低内存和能耗，能够使得高性能视觉模型在实际应用中更具可行性，推动智能设备的普及与应用。

📄 摘要（原文）

Modern pretrained vision models achieve strong accuracy but demand substantial GPU memory for fine-tuning, making edge deployment impractical. This paper compares five parameter-efficient fine-tuning (PEFT) methods (Full FT, LoRA, AdaLoRA, QLoRA, BitFit) on Transformers- (ViT-Small, TinyViT) and Mamba-based vision backbones (Vim-Small, MambaVision-T) under an on-device VRAM budget (e.g., 2 GB), together with three gradient-checkpointing strategies (none, static, and a proposed memory-budget-aware adaptive algorithm); and we evaluate three families of foundation-model baselines: zero-shot contrastive vision language models (OpenCLIP, SigLIP), self-supervised vision backbones with lightweight evaluation protocols (DINOv2), and autoregressive VLMs for prompt-based classification (PaliGemma, MobileVLM, SmolVLM). Experiments on CIFAR-100 and DTD report accuracy, training time, energy, and the NetScore family of multi-objective metrics, which we extend with two deployment-aware variants. QLoRA and BitFit cut energy 20-30% at a 1-2% accuracy cost; the adaptive algorithm reduces peak memory 43-79% with 9-30% energy overhead. DINOv2 surpasses fine-tuned models on CIFAR-100 (0.917 vs. 0.897) at a fraction of the energy, while small autoregressive VLMs remain uncompetitive.