Efficient PEFT Methods with Adaptive Checkpointing for Vision Models and VLMs on Resource Constrained Consumer-GPUs

📄 arXiv: 2607.02158v1 📥 PDF

作者: Altay Toktassyn, Jurn-Gyu Park

分类: cs.CV

发布日期: 2026-07-02

💡 一句话要点

提出自适应检查点的高效PEFT方法以解决资源受限GPU的调优问题

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture) 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 参数高效微调 自适应检查点 视觉模型 边缘计算 GPU资源优化 能耗降低 深度学习 模型部署

📋 核心要点

  1. 现有的预训练视觉模型在微调时对GPU内存的需求极高，导致边缘设备部署面临挑战。
  2. 本文提出了一种自适应检查点算法，结合多种参数高效微调方法，以降低内存和能耗。
  3. 实验结果显示，QLoRA和BitFit在保持较高准确率的同时，显著降低了能耗和内存使用。

📝 摘要（中文）

现代预训练视觉模型在准确性上表现出色，但在微调时需要大量GPU内存，使得边缘部署变得不切实际。本文比较了五种参数高效微调（PEFT）方法（Full FT、LoRA、AdaLoRA、QLoRA、BitFit），并在设备VRAM预算（如2GB）下，结合三种梯度检查点策略（无、静态和提出的基于内存预算的自适应算法）进行评估。实验结果表明，QLoRA和BitFit在1-2%的准确性损失下，能降低20-30%的能耗，而自适应算法则能减少43-79%的峰值内存，伴随9-30%的能量开销。DINOv2在CIFAR-100上以较少的能量超越了微调模型。

🔬 方法详解

问题定义：本文旨在解决现代预训练视觉模型在微调过程中对GPU内存的高需求问题，现有方法在资源受限的边缘设备上难以有效应用。

核心思路：论文提出了一种自适应检查点算法，结合多种参数高效微调方法，旨在优化内存使用和能耗，同时保持模型的准确性。

技术框架：整体架构包括五种PEFT方法的比较，以及三种梯度检查点策略的应用。实验在不同的视觉模型和数据集上进行，以评估性能。

关键创新：最重要的创新在于提出了一种基于内存预算的自适应检查点算法，能够显著减少峰值内存使用，与现有静态检查点方法相比，具有更高的灵活性和效率。

关键设计：在实验中，QLoRA和BitFit的参数设置经过精细调优，确保在1-2%的准确性损失下，能有效降低20-30%的能耗，同时自适应算法的设计使得内存使用减少43-79%。

🖼️ 关键图片

fig_0
img_1
img_2

📊 实验亮点

实验结果显示，QLoRA和BitFit在保持1-2%准确性损失的情况下，能耗降低20-30%。自适应检查点算法有效减少了43-79%的峰值内存使用，且能量开销仅为9-30%。DINOv2在CIFAR-100上的表现超越了微调模型，准确率达到0.917。

🎯 应用场景

该研究的潜在应用领域包括边缘计算、移动设备和资源受限环境中的视觉模型部署。通过降低内存和能耗，能够使得高性能视觉模型在实际应用中更具可行性，推动智能设备的普及与发展。

📄 摘要（原文）

Modern pretrained vision models achieve strong accuracy but demand substantial GPU memory for fine-tuning, making edge deployment impractical. This paper compares five parameter-efficient fine-tuning (PEFT) methods (Full FT, LoRA, AdaLoRA, QLoRA, BitFit) on Transformers- (ViT-Small, TinyViT) and Mamba-based vision backbones (Vim-Small, MambaVision-T) under an on-device VRAM budget (e.g., 2 GB), together with three gradient-checkpointing strategies (none, static, and a proposed memory-budget-aware adaptive algorithm); and we evaluate three families of foundation-model baselines: zero-shot contrastive vision language models (OpenCLIP, SigLIP), self-supervised vision backbones with lightweight evaluation protocols (DINOv2), and autoregressive VLMs for prompt-based classification (PaliGemma, MobileVLM, SmolVLM). Experiments on CIFAR-100 and DTD report accuracy, training time, energy, and the NetScore family of multi-objective metrics, which we extend with two deployment-aware variants. QLoRA and BitFit cut energy 20-30% at a 1-2% accuracy cost; the adaptive algorithm reduces peak memory 43-79% with 9-30% energy overhead. DINOv2 surpasses fine-tuned models on CIFAR-100 (0.917 vs. 0.897) at a fraction of the energy, while small autoregressive VLMs remain uncompetitive.