Learning to Select, Not Relearn: Hard-Routed Mixtures of Reasoning LoRAs

📄 arXiv: 2606.31413v1 📥 PDF

作者: Seyed Alireza Molavi, Zhan Su, Yan Hu, Peyman Sheikholharam Mashhadi, Stefan Byttner, Prayag Tiwari

分类: cs.AI, cs.LG

发布日期: 2026-06-30

备注: Code available at: https://github.com/sar-molavi/hard-routed-mor-lora

💡 一句话要点

提出Hard-Routed MoR-LoRA以解决多领域适应问题

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture) 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 多领域适应 LoRA适配器 强化学习 硬路由 模型集成 自然语言处理 专家选择

📋 核心要点

  1. 现有方法在组合冻结的LoRA适配器时，软加权组合可能会改变原始训练的单位规模加性更新，导致性能下降。
  2. 论文提出的Hard-Routed MoR-LoRA框架通过硬选择机制，确保每个token仅选择一个LoRA专家，从而有效整合多个领域的知识。
  3. 实验结果显示，Hard-Routed MoR-LoRA在多个基准测试中表现优于软路由混合基线，且可训练参数显著减少，保持了专家的推理能力。

📝 摘要（中文）

本论文提出了一种名为Hard-Routed MoR-LoRA的框架，用于将独立训练的LoRA适配器组合成一个大型语言模型，以实现多领域适应。该方法通过强化学习从可验证反馈中训练领域特定的LoRA适配器，并在冻结后提取推理痕迹。与传统的MoE风格路由不同，Hard-Routed MoR-LoRA采用硬选择机制，确保每个token仅选择一个专家，从而保持专家行为并显著减少可训练参数。实验结果表明，该方法在多个基准测试中表现优异，且相较于软路由混合基线，性能提升显著。

🔬 方法详解

问题定义：本论文旨在解决在多领域适应中，如何有效组合冻结的LoRA适配器的问题。现有的软路由方法可能会改变原始训练的单位规模加性更新，影响模型性能。

核心思路：论文提出的Hard-Routed MoR-LoRA框架通过两阶段的硬选择机制，确保每个token仅选择一个LoRA专家，从而保持专家的推理能力并减少可训练参数。

技术框架：该框架包括两个主要阶段：首先，独立训练领域特定的LoRA适配器，使用来自可验证反馈的强化学习；其次，冻结所有专家，提取推理痕迹，并训练一个轻量级共享路由器和小型注意力LoRA进行整合。

关键创新：Hard-Routed MoR-LoRA的核心创新在于采用硬top-1路由机制，确保每个token选择一个专家，从而避免了软路由方法中集中路由质量于单一专家的问题。

关键设计：在设计中，使用了强化学习来训练LoRA适配器，路由器通过直通估计器进行基于梯度的训练，确保了高效的参数更新和模型整合。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果表明，Hard-Routed MoR-LoRA在五个基准测试中均优于多个模型规模和额外模型系列的软路由混合基线，且可训练参数显著减少，保持了专家的推理行为，展示了其在效率和性能上的优势。

🎯 应用场景

该研究的潜在应用领域包括自然语言处理中的多领域适应任务，如跨领域问答、对话系统和文本生成等。通过有效整合不同领域的知识，Hard-Routed MoR-LoRA能够提升模型在多样化任务中的表现，具有广泛的实际价值和未来影响。

📄 摘要（原文）

Composing independently trained LoRA adapters into a single large language model is useful for multi-domain adaptation, especially when the original training data cannot be shared. A common approach is to use MoE-style routing over LoRA experts, but for frozen pretrained adapters, soft weighted combinations can change the unit-scale additive update under which each LoRA module was originally trained. We propose \textbf{Hard-Routed MoR-LoRA}, a two-stage framework for composing frozen reasoning LoRA experts through unit-scale hard selection. First, domain-specific LoRA adapters are trained independently using reinforcement learning from verifiable feedback to obtain reasoning experts. Then, all experts are frozen, reasoning traces are distilled from them, and only a lightweight shared router together with a small attention LoRA is trained for integration. The router selects exactly one expert per token using hard top-1 routing, while a straight-through estimator enables gradient-based training. Experiments across five benchmarks, multiple model scales, and additional model families show that Hard-Routed MoR-LoRA preserves expert behavior while requiring substantially fewer trainable parameters than soft-routing mixture baselines. Our analysis further shows that normalized soft mixtures often concentrate most routing mass on a single expert, suggesting that hard unit-scale routing provides a simple and efficient abstraction for frozen LoRA expert composition.