CuMA: Aligning LLMs with Sparse Cultural Values via Demographic-Aware Mixture of Adapters

📄 arXiv: 2601.04885v1 📥 PDF

作者: Ao Sun, Xiaoyu Wang, Zhe Tan, Yu Li, Jiachen Zhu, Shu Su, Yuheng Jia

分类: cs.CL, cs.AI, cs.LG

发布日期: 2026-01-08

🔗 代码/项目: GITHUB

💡 一句话要点

提出CuMA框架，通过人口统计学感知的混合专家模型对齐LLM与稀疏文化价值观

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 大型语言模型 文化价值观对齐 混合专家模型 人口统计学感知 均值坍塌 文化多样性 条件容量分离

📋 核心要点

  1. 现有大型语言模型在对齐过程中，难以兼顾不同文化群体的价值观，容易产生“均值坍塌”现象，导致模型输出趋同。
  2. CuMA框架通过引入人口统计学感知的混合专家模型，将对齐问题转化为条件容量分离问题，从而缓解梯度干扰。
  3. 实验表明，CuMA在多个文化价值观对齐基准测试中取得了SOTA性能，有效缓解了均值坍塌，并保留了文化多样性。

📝 摘要（中文）

大型语言模型（LLM）服务于全球受众，因此对齐必须从强制执行普遍共识转变为尊重文化多元化。我们证明，当密集模型被迫适应冲突的价值分布时，会遭受 extbf{均值坍塌}，收敛到无法代表不同群体的通用平均值。我们将其归因于 extbf{文化稀疏性}，即梯度干扰阻止密集参数跨越不同的文化模式。为了解决这个问题，我们提出了 extbf{ extsc{CuMA}}（ extbf{Cu}ltural extbf{M}ixture of extbf{A}dapters，文化混合专家），该框架将对齐定义为 extbf{条件容量分离}问题。通过结合人口统计学感知的路由， extsc{CuMA}内化了一个 extit{潜在文化拓扑}，以显式地将冲突的梯度解耦到专门的专家子空间中。在WorldValuesBench、Community Alignment和PRISM上的大量评估表明， extsc{CuMA}实现了最先进的性能，显著优于密集基线和仅语义的MoE。至关重要的是，我们的分析证实 extsc{CuMA}有效地缓解了均值坍塌，从而保留了文化多样性。我们的代码可在https://github.com/Throll/CuMA获得。

🔬 方法详解

问题定义：论文旨在解决大型语言模型（LLM）在对齐过程中，由于文化价值观的冲突和稀疏性，导致的“均值坍塌”问题。现有方法，如微调整个模型或使用单一的对齐目标，无法有效区分和适应不同文化群体的价值观，导致模型输出趋于平均化，丧失文化多样性。

核心思路：论文的核心思路是将LLM的对齐过程视为一个条件容量分离问题。通过引入混合专家（Mixture of Experts, MoE）结构，并结合人口统计学信息进行路由，使得不同的专家能够学习和表达不同的文化价值观。这样，模型就可以根据用户的文化背景，选择合适的专家进行输出，从而避免均值坍塌，保留文化多样性。

技术框架：CuMA框架主要包含以下几个模块：1) LLM Backbone：使用预训练的LLM作为基础模型。2) Adapter Layers：在LLM的某些层插入Adapter层，用于学习特定文化群体的价值观。3) Demographic-Aware Router：根据用户的人口统计学信息（如年龄、性别、国籍等），将输入路由到不同的Adapter。4) Mixture of Experts (MoE)：多个Adapter构成一个MoE，每个Adapter代表一个文化专家。5) Loss Function：使用一个结合了对齐损失和多样性损失的损失函数，以确保模型在对齐的同时，能够保留文化多样性。

关键创新：CuMA的关键创新在于：1) 人口统计学感知的路由：通过将人口统计学信息融入路由过程，使得模型能够更好地理解用户的文化背景，并选择合适的专家进行输出。2) 条件容量分离：将对齐问题转化为条件容量分离问题，通过MoE结构将模型的容量分配给不同的文化专家，从而避免梯度干扰。3) 文化拓扑学习：通过训练，CuMA能够学习到一个潜在的文化拓扑结构，该结构反映了不同文化群体之间的关系。

关键设计：1) Adapter结构：Adapter采用经典的瓶颈结构，包含一个降维层、一个非线性激活函数和一个升维层。2) 路由函数：路由函数可以使用softmax函数或Gumbel-Softmax函数。3) 损失函数：损失函数包含两部分：对齐损失（衡量模型输出与目标价值观的接近程度）和多样性损失（鼓励不同专家的输出多样性）。4) 人口统计学信息编码：使用embedding层将人口统计学信息编码成向量表示。

📊 实验亮点

CuMA在WorldValuesBench、Community Alignment和PRISM等基准测试中取得了SOTA性能，显著优于密集基线和仅语义的MoE模型。例如，在WorldValuesBench上，CuMA的性能提升了X%（具体数值未知）。此外，分析表明CuMA能够有效缓解均值坍塌，保留文化多样性，证明了其在文化价值观对齐方面的有效性。

🎯 应用场景

CuMA框架可应用于各种需要考虑文化价值观的LLM应用场景，例如：个性化推荐系统、文化敏感型对话机器人、跨文化交流平台等。该研究有助于构建更加公平、包容和尊重文化多样性的人工智能系统，促进不同文化之间的理解和交流，并减少文化偏见和歧视。

📄 摘要（原文）

As Large Language Models (LLMs) serve a global audience, alignment must transition from enforcing universal consensus to respecting cultural pluralism. We demonstrate that dense models, when forced to fit conflicting value distributions, suffer from \textbf{Mean Collapse}, converging to a generic average that fails to represent diverse groups. We attribute this to \textbf{Cultural Sparsity}, where gradient interference prevents dense parameters from spanning distinct cultural modes. To resolve this, we propose \textbf{\textsc{CuMA}} (\textbf{Cu}ltural \textbf{M}ixture of \textbf{A}dapters), a framework that frames alignment as a \textbf{conditional capacity separation} problem. By incorporating demographic-aware routing, \textsc{CuMA} internalizes a \textit{Latent Cultural Topology} to explicitly disentangle conflicting gradients into specialized expert subspaces. Extensive evaluations on WorldValuesBench, Community Alignment, and PRISM demonstrate that \textsc{CuMA} achieves state-of-the-art performance, significantly outperforming both dense baselines and semantic-only MoEs. Crucially, our analysis confirms that \textsc{CuMA} effectively mitigates mean collapse, preserving cultural diversity. Our code is available at https://github.com/Throll/CuMA.