Training Specialist LLMs on Your Phone: Forward-Only Optimization via Block-Spectral Coordinates

📄 arXiv: 2611.04797v1 📥 PDF

作者: Liyan Tan, Yequan Zhao, Ziyue Liu, Yupeng Su, Ruijie Zhang, Zheng Zhang

分类: cs.LG, eess.SY

发布日期: 2026-11-03

备注: 27 pages, 11 figures, 15 tables

💡 一句话要点

提出MobileSpec以解决手机端LLM训练效率低下问题

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture) 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 大型语言模型 移动设备 强化学习 轻量级模型 个性化训练 内存优化

📋 核心要点

  1. 现有方法在手机端训练大型语言模型时面临内存限制和用户数据稀缺的问题，导致模型能力受限。
  2. 论文提出MobileSpec，通过前向传递和自动检查任务结果的方式训练轻量级专家，避免了反向传播的内存开销。
  3. 实验结果显示，MobileSpec将手机使用代理的成功率从6-23%提升至89-100%，并能在iPhone 16 Pro上快速训练个性化模型。

📝 摘要（中文）

在个人设备上运行的大型语言模型（LLMs）能够保持用户数据的本地性，但有限的内存限制了其通用能力。大多数用户特定任务并不需要前沿模型的广泛能力，因此将共享的设备模型适配为轻量级专家是一种实用的解决方案。然而，反向传播在内存上是不可行的，且用户很少提供标记数据。我们提出了MobileSpec，一个仅通过前向传递训练专家的系统，并通过自动检查任务结果进行学习，类似于具有可验证奖励的强化学习（RLVR）。MobileSpec的核心算法FuRA-S在训练预训练权重的块谱坐标时生成扰动，从而提高训练效率。实验表明，MobileSpec显著提高了手机使用代理的成功率，并在RLVR基准上与全参数进化策略竞争。

🔬 方法详解

问题定义：论文要解决的问题是如何在内存受限的个人设备上高效训练大型语言模型的专家版本。现有方法如反向传播在内存使用上存在瓶颈，且用户提供的标记数据稀缺，限制了模型的适应性和性能。

核心思路：论文的核心思路是通过前向传递训练专家模型，而不是传统的反向传播。通过自动检查任务结果，系统可以在没有标记数据的情况下进行学习，类似于强化学习中的可验证奖励机制。

技术框架：MobileSpec的整体架构包括前向传递训练模块和自动结果检查模块。FuRA-S算法负责生成扰动并更新预训练权重的块谱坐标，确保训练过程高效且内存友好。

关键创新：最重要的技术创新在于FuRA-S算法，它通过独立调整块的相对贡献来旋转权重矩阵的奇异向量，从而实现高效的前向更新。这一方法与传统的反向传播方法本质上不同，避免了内存瓶颈。

关键设计：在设计中，FuRA-S算法专注于训练预训练权重的块谱坐标，使用随机扰动生成更新。该方法能够适应INT4模型而无需修改其权重，且只需更新0.015-0.05%的参数即可实现显著的性能提升。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果显示，MobileSpec显著提升了手机使用代理的成功率，从6-23%提升至89-100%。在RLVR基准测试中，FuRA-S与全参数进化策略表现相当，并在LoRA适配器和量化进化策略上超越了INT4模型，展示了其优越的训练效率和效果。

🎯 应用场景

该研究的潜在应用领域包括移动设备上的个性化智能助手、语音识别系统和自然语言处理应用。通过在用户设备上高效训练轻量级专家模型，能够提升用户体验并保护用户隐私，未来可能在智能家居、移动办公等场景中发挥重要作用。

📄 摘要（原文）

Large language models (LLMs) on personal devices keep user data local, but limited memory restricts their general capability. Since most user-specific tasks do not require the breadth of frontier models, a practical solution is to adapt a shared on-device model into lightweight specialists. However, backpropagation is prohibitive in memory, and users rarely provide labeled data. We present MobileSpec, a system that trains specialists with forward passes alone and learns from automatically checked task outcomes, as in reinforcement learning with verifiable rewards (RLVR). Because forward-only updates are built from random perturbations, training is efficient only when these perturbations resemble the weight changes of RLVR, which largely preserve the singular values of pretrained weights and rotate their singular vectors. The core algorithm of MobileSpec, FuRA-S, produces such perturbations while training only the block-spectral coordinates of pretrained weights, namely the singular values of their column blocks. As we show theoretically and empirically, rescaling these blocks independently shifts their relative contributions to each weight matrix and thereby rotates its singular vectors. Since this update can be rewritten as a transformation of the layer input, FuRA-S also adapts INT4 models without modifying their weights. With specialists of only 1-5 MB that update 0.015-0.05% of the parameters, MobileSpec raises the success rate of a phone-use agent from 6-23% up to 89-100% and trains a personalized 8B model on an iPhone 16 Pro overnight. On RLVR benchmarks, FuRA-S is competitive with full-parameter evolution strategies (ES) and outperforms ES over LoRA adapters and quantized ES on INT4 models.