Harnessing the Potential of Optimizing Data Mixtures via Bayesian Domain Reweighting
作者: Xiang Yuan, Kaiqing Lei, Zhenyu Jin, Jun Shu, Deyu Meng, Zongben Xu
分类: cs.LG
发布日期: 2026-07-30
💡 一句话要点
提出贝叶斯领域加权方法以优化多领域数据混合
🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)
关键词: 贝叶斯方法 领域加权 数据优化 大型语言模型 多领域学习 Dirichlet分布 Gamma先验 机器学习
📋 核心要点
- 现有方法依赖强结构假设，导致在复杂数据环境下的估计偏差，无法有效优化领域权重。
- 论文提出了一种贝叶斯领域加权方法，通过引入Gamma先验信息，从Dirichlet分布中推断领域权重。
- 实验结果显示，该方法在稳定性和效率上优于传统的基于搜索的函数拟合方法，显著减少了数据消耗。
📝 摘要（中文）
大型语言模型（LLMs）的性能受到多领域预训练数据分布组成的根本影响。尽管早期模型采用手动启发式方法，但随着数据复杂性的增加，这些方法逐渐无法捕捉领域之间的复杂协同作用。为了解决这一问题，现有方法通常依赖于强结构假设，导致估计偏差。本文提出了一种贝叶斯领域加权方法，通过引入从观察中学习的Gamma先验信息，从Dirichlet分布推断权重。实验结果表明，该方法能够实现稳定高效的领域权重学习，并在消耗显著更少数据的情况下识别最佳混合，复兴了基于优化的领域加权在大规模应用中的潜力。
🔬 方法详解
问题定义：本文旨在解决大型语言模型在多领域预训练数据中领域权重优化的问题。现有方法依赖于强结构假设，导致在数据复杂性增加时出现显著的估计偏差。
核心思路：论文提出的贝叶斯领域加权方法通过引入Gamma先验信息，利用Dirichlet分布推断领域权重，旨在实现更稳定和高效的优化。
技术框架：该方法的整体架构包括数据收集、Gamma先验信息学习、领域权重推断和优化过程。每个模块相互协作，以实现最终的领域权重优化。
关键创新：最重要的技术创新在于引入Gamma先验信息，使得领域权重的推断过程更加稳健，避免了传统方法中的结构假设限制。
关键设计：在参数设置上，采用Dirichlet分布作为领域权重的基础，并通过Gamma分布进行先验信息的引入，确保了优化过程的稳定性和效率。
🖼️ 关键图片
📊 实验亮点
实验结果表明，提出的贝叶斯领域加权方法在领域权重学习的稳定性和效率上显著优于传统方法，能够在消耗更少数据的情况下识别最佳混合，提升了模型的整体性能。
🎯 应用场景
该研究的潜在应用领域包括自然语言处理、机器翻译和多领域学习等。通过优化领域权重，该方法能够提升模型在多样化数据集上的表现，具有重要的实际价值和广泛的应用前景。
📄 摘要（原文）
The performance of Large Language Models (LLMs) is fundamentally influenced by the distributional composition of multi-domain pre-training data. While manual heuristics were prevalent in early models, they increasingly fail to capture the intricate synergies between domains as data complexity grows. To overcome the issue, a dominant approach seeks to fit a proxy function mapping between domain weights and their corresponding validation losses, and then find the optimal domain weights to minimize validation losses. These methods rely on strong structural assumptions, such as rank invariance or scaling laws, which are often violated, resulting in non-negligible estimation bias. A promising approach is to directly optimize the weighting scheme from data. However, it suffers from unstable optimization trajectory and prohibitive computational overhead, limiting its potential to search better domain weights configurations. This paper presents a Bayesian domain weighting method to infer the weights from a Dirichlet distribution via introducing Gamma prior information learned from observations. Experimental results demonstrate that proposed method could achieve stable and efficient domain weights learning, and identifies optimal mixtures while consuming substantially less data than search-based function-fitting methods, revitalizing optimization-based domain weighting for large-scale applications.