FARO: Function-Space Adaptive Return-to-Risk Optimization via Cross-Block Equal-Risk-Contribution Budget Allocation

📄 arXiv: 2610.40858v1 📥 PDF

作者: Xiaojun Wu, Cehao Yang, Xuhui Jiang, Chengjin Xu, Jia Li, Jian Guo

分类: cs.LG, cs.CL

发布日期: 2026-10-29

备注: 20 pages, 5 figures

🔗 代码/项目: GITHUB

💡 一句话要点

提出FARO优化器以提升大语言模型训练效率

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 自适应优化 风险平价 大型语言模型 深度学习 计算效率 参数块划分 模型训练

📋 核心要点

  1. 现有优化方法依赖于人类先验知识，手动划分参数块，导致效率低下和灵活性不足。
  2. FARO通过函数空间自适应优化，自动为每个参数块分配几何形状，并基于风险平价原则重新分配预算。
  3. 实验结果显示，FARO-Adaptive与最佳手动设计相当，FARO-ERC在多个种子上均有显著的损失降低，表现出良好的鲁棒性。

📝 摘要（中文）

训练大型语言模型计算资源消耗巨大，现有方法通过手动划分优化器来分配工作，依赖于人类先验知识。本文提出FARO，一种基于函数空间的自适应优化器，通过将参数划分为块来进行决策。FARO根据实现的反事实回报为每个块分配几何形状，并通过跨块等风险贡献（ERC）重新分配预算。在对FineWeb上训练的GPT风格模型的实验中，FARO-Adaptive达到了3.2780 nats的结果，接近最佳手动设计的NorMuonAndAdam（3.2794）。FARO-ERC在每个种子上平均降低了0.0136 nats的干净数据损失，表现出稳健的提升。该方法在处理损坏数据流时仍能降低平均损失，且无额外时间或内存开销。

🔬 方法详解

问题定义：本文旨在解决现有优化器在大型语言模型训练中效率低下的问题，现有方法依赖于手动划分参数块，缺乏灵活性和适应性。

核心思路：FARO通过将参数块作为决策单元，基于每个块的反事实回报动态分配几何形状，并利用跨块等风险贡献原则优化预算分配。

技术框架：FARO的整体架构包括参数块的划分、几何形状的分配、预算的重新分配等主要模块，形成一个自适应的优化流程。

关键创新：FARO的核心创新在于其自适应性和动态预算分配机制，与传统方法相比，能够更有效地利用计算资源，提升训练效率。

关键设计：FARO在参数块的划分、几何形状的定义以及预算分配策略上进行了精细设计，确保在不同训练条件下均能保持性能的稳定性和提升。

📊 实验亮点

FARO-Adaptive在训练中达到了3.2780 nats的结果，接近最佳手动设计的3.2794 nats。FARO-ERC在六个种子上平均降低了0.0136 nats的干净数据损失，表现出显著的稳健性，且在处理损坏数据流时仍能降低平均损失。

🎯 应用场景

FARO优化器可广泛应用于大型语言模型的训练，尤其是在计算资源有限的情况下，能够有效提升训练效率和模型性能。未来，该方法也可能扩展到其他深度学习任务中，如图像处理和强化学习等领域，具有重要的实际价值。

📄 摘要（原文）

Training a large language model is compute-bound, and current recipes divide the work between optimizers by hand: orthogonalized momentum for attention and MLP matrices, Adam-style updates for the rest. This division rests on human priors about which layer type deserves which geometry, and it fixes a single global update budget that every parameter block shares. We introduce FARO, a function-space adaptive optimizer that makes the partition of parameters into blocks the unit of decision. FARO gives each block a geometry by its realized counterfactual return, then freezes the routes and reallocates the frozen per-block budget by cross-block equal risk contribution (ERC), the risk-parity principle from portfolio theory. On a GPT-style model trained on FineWeb, the framework gives two results. First, its FARO-Adaptive arm reaches 3.2780 nats at the full schedule, matching NorMuonAndAdam (3.2794), the best hand-designed recipe: it recovers the human prior without hand-setting per-layer geometry. Second, FARO-ERC improves on that arm: it lowers the clean-data loss at every one of 6 seeds, by 0.0136 nats on average, a modest but robust gain. Its sign test, paired test, and confidence interval all agree, and it exceeds the measured run-to-run noise at no added time or memory. It works by trimming the riskiest blocks rather than expanding the safest, and it holds up under a corrupted stream, still lowering the mean loss and winning the seed majority. The source code is available at https://github.com/wxj630/FARO.