SimplexLoRA: Dynamic Rank Updating via Alternating Minimization with Simplex Projection

📄 arXiv: 2610.37206v1 📥 PDF

作者: Igor Shalygin, Grigorii Davydenko, Andrey Veprikov, Aleksey Antonov, Nikolay Bushkov, Stanislav Moiseev, Aleksandr Beznosikov

分类: cs.LG

发布日期: 2026-10-27

备注: Accepted to Findings of EMNLP 2026

🔗 代码/项目: GITHUB

💡 一句话要点

提出SimplexLoRA以动态调整适配器秩解决参数效率问题

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 低秩适配 参数高效 动态调整 自然语言处理 模型微调 适配器技术 深度学习

📋 核心要点

  1. 现有的低秩适配方法在微调过程中使用固定的适配器秩，导致参数利用效率低下。
  2. SimplexLoRA通过在热身阶段动态优化适配器的重要性权重，允许适配器秩的自适应调整，从而提高了参数利用效率。
  3. 实验结果表明，SimplexLoRA在多个任务上均表现优于标准LoRA和其他自适应基线，尤其在低秩设置下获得了显著的性能提升。

📝 摘要（中文）

大型语言模型在实际应用中的成功依赖于参数高效的微调方法，如低秩适配（LoRA），该方法在选定层中插入紧凑的可训练适配器。本文提出了SimplexLoRA，这是一种LoRA变体，能够根据适配器的学习重要性在微调过程中自适应地调整适配器的秩。与标准LoRA不同，SimplexLoRA在短暂的热身阶段优化每个适配器的重要性权重，并随后将其冻结，从而在不增加整体参数预算或推理成本的情况下，动态分配容量到最有利的地方。我们在12个语言理解、摘要和推理任务上评估了SimplexLoRA，结果显示其性能与标准LoRA及最近的自适应基线相当或更优，尤其在低秩情况下表现出显著提升。

🔬 方法详解

问题定义：现有的低秩适配方法（如LoRA）在微调过程中使用固定的适配器秩，这限制了模型的参数利用效率，无法根据不同层的需求动态调整适配器的能力。

核心思路：SimplexLoRA的核心思想是通过在短暂的热身阶段优化每个适配器的重要性权重，允许适配器秩的自适应调整，从而在不增加整体参数预算的情况下，动态分配计算资源。

技术框架：SimplexLoRA的整体架构包括两个主要阶段：首先是热身阶段，在此阶段通过优化适配器的重要性权重来调整秩；其次是冻结阶段，在此阶段保持优化后的权重不变，以确保模型的稳定性和性能。

关键创新：SimplexLoRA的创新之处在于其使用了$n$-scaled simplex来优化适配器的重要性权重，这一方法使得适配器的秩可以根据学习到的重要性动态调整，显著提高了参数利用效率。

关键设计：在设计上，SimplexLoRA设定了适配器的重要性权重，并在热身阶段使用特定的损失函数来优化这些权重，确保适配器能够在最需要的层中发挥最大效用。

🖼️ 关键图片

fig_0

📊 实验亮点

在实验中，SimplexLoRA在12个语言理解、摘要和推理任务上表现出色，整体性能与标准LoRA和其他自适应基线相当或更优，尤其在低秩设置下，性能提升幅度显著，验证了其在参数效率方面的优势。

🎯 应用场景

SimplexLoRA的研究成果在自然语言处理领域具有广泛的应用潜力，尤其是在需要高效微调大型语言模型的场景中，如文本生成、摘要、问答系统等。其动态调整适配器秩的能力，可以在保持模型性能的同时，显著降低计算资源的消耗，推动更高效的模型部署和应用。

📄 摘要（原文）

The success of large language models in real-world applications relies on parameter-efficient fine-tuning methods such as Low-Rank Adaptation (LoRA), which inserts compact, trainable adapters into selected layers. In this paper, we propose SimplexLoRA, a LoRA variant that adaptively adjusts adapter ranks during fine-tuning based on their learned importance. Unlike standard LoRA, which employs a fixed rank across all layers, SimplexLoRA optimizes per-adapter importance weights on the $n$-scaled simplex during a short warm-up and then freezes them, dynamically allocating capacity where it is most beneficial without increasing the overall parameter budget or inference cost. We evaluate SimplexLoRA across 12 language understanding, summarization, and reasoning tasks using DeBERTaV3, BART-large, Llama 3.1 8B, and Qwen3-8B. Our results show that SimplexLoRA consistently matches or outperforms standard LoRA and recent adaptive baselines, with the largest gains at low ranks. Our code is available at https://github.com/brain-lab-research/SimplexLoRA.