CuMA: Aligning LLMs with Sparse Cultural Values via Demographic-Aware Mixture of Adapters

📄 arXiv: 2601.04885v1 📥 PDF

作者: Ao Sun, Xiaoyu Wang, Zhe Tan, Yu Li, Jiachen Zhu, Shu Su, Yuheng Jia

分类: cs.CL, cs.AI, cs.LG

发布日期: 2026-01-08

🔗 代码/项目: GITHUB

💡 一句话要点

提出CuMA，通过人口统计学感知的适配器混合模型对齐LLM与稀疏文化价值观

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 大型语言模型 文化价值观对齐 适配器混合模型 人口统计学信息 均值崩溃

📋 核心要点

  1. 现有大型语言模型在对齐过程中，难以兼顾不同文化群体的价值观，容易陷入“均值崩溃”，导致模型输出趋同。
  2. CuMA框架将对齐视为条件容量分离问题，通过人口统计学信息引导模型学习潜在的文化拓扑，从而解耦冲突的梯度。
  3. 实验表明，CuMA在多个文化价值观对齐基准测试中取得了SOTA性能，有效缓解了均值崩溃，并保留了文化多样性。

📝 摘要（中文）

随着大型语言模型(LLMs)服务于全球受众，对齐必须从强制执行普遍共识转变为尊重文化多元化。我们证明，当强制密集模型适应冲突的价值分布时，会遭受 extbf{均值崩溃}，收敛到无法代表不同群体的通用平均值。我们将其归因于 extbf{文化稀疏性}，即梯度干扰阻止密集参数跨越不同的文化模式。为了解决这个问题，我们提出了 extbf{ extsc{CuMA}}（ extbf{Cu}ltural extbf{M}ixture of extbf{A}dapters，文化适配器混合模型），该框架将对齐定义为 extbf{条件容量分离}问题。通过结合人口统计学感知的路由， extsc{CuMA}内化了一个 extit{潜在文化拓扑}，以显式地将冲突的梯度解耦到专门的专家子空间中。在WorldValuesBench、Community Alignment和PRISM上的大量评估表明， extsc{CuMA}实现了最先进的性能，显著优于密集基线和仅语义的MoE。至关重要的是，我们的分析证实 extsc{CuMA}有效地缓解了均值崩溃，从而保留了文化多样性。

🔬 方法详解

问题定义：大型语言模型在服务全球用户时，需要尊重不同文化群体的价值观。然而，现有模型在对齐过程中，容易将不同甚至冲突的价值观进行平均，导致“均值崩溃”现象，无法准确反映特定文化群体的偏好。这种现象的根本原因是“文化稀疏性”，即模型参数无法有效区分和表达不同的文化模式。

核心思路：CuMA的核心思路是将文化价值观的对齐问题转化为一个条件容量分离问题。通过引入人口统计学信息，模型可以学习到一个潜在的文化拓扑结构，从而将不同文化群体的梯度信息解耦到不同的专家子空间中。这样，每个专家子空间就可以专注于学习特定文化群体的价值观，避免了梯度干扰和均值崩溃。

技术框架：CuMA框架主要包含以下几个模块：1) 人口统计学嵌入模块：将人口统计学信息（如年龄、性别、国籍等）编码成向量表示。2) 路由模块：根据人口统计学嵌入向量，将输入样本路由到不同的专家子空间。3) 专家子空间：由多个适配器（Adapter）组成，每个适配器负责学习特定文化群体的价值观。4) 混合模块：将不同专家子空间的输出进行混合，得到最终的预测结果。

关键创新：CuMA的关键创新在于引入了人口统计学信息，并将其用于指导模型的容量分离。通过学习潜在的文化拓扑结构，CuMA能够有效地解耦不同文化群体的梯度信息，避免了均值崩溃。此外，CuMA采用适配器混合模型，可以在不修改原始模型参数的情况下，实现文化价值观的对齐。

关键设计：CuMA的关键设计包括：1) 人口统计学嵌入方式：可以使用预训练的嵌入模型，也可以使用自定义的嵌入层。2) 路由策略：可以使用Gumbel-Softmax等技术，实现可微分的路由。3) 适配器结构：可以使用不同的适配器结构，如Bottleneck Adapter、Prefix-Tuning等。4) 损失函数：可以使用交叉熵损失函数或对比学习损失函数，鼓励模型学习区分不同的文化群体。

📊 实验亮点

CuMA在WorldValuesBench、Community Alignment和PRISM等多个文化价值观对齐基准测试中取得了SOTA性能，显著优于Dense模型和仅语义的MoE模型。例如，在WorldValuesBench上，CuMA的性能提升了X%。此外，分析结果表明，CuMA有效地缓解了均值崩溃现象，能够更好地保留文化多样性。

🎯 应用场景

CuMA框架可应用于各种需要考虑文化价值观对齐的场景，例如：个性化推荐系统、文化敏感型对话系统、跨文化交流平台等。通过CuMA，可以构建更加公平、包容和尊重文化多样性的AI系统，从而更好地服务于全球用户。

📄 摘要（原文）

As Large Language Models (LLMs) serve a global audience, alignment must transition from enforcing universal consensus to respecting cultural pluralism. We demonstrate that dense models, when forced to fit conflicting value distributions, suffer from \textbf{Mean Collapse}, converging to a generic average that fails to represent diverse groups. We attribute this to \textbf{Cultural Sparsity}, where gradient interference prevents dense parameters from spanning distinct cultural modes. To resolve this, we propose \textbf{\textsc{CuMA}} (\textbf{Cu}ltural \textbf{M}ixture of \textbf{A}dapters), a framework that frames alignment as a \textbf{conditional capacity separation} problem. By incorporating demographic-aware routing, \textsc{CuMA} internalizes a \textit{Latent Cultural Topology} to explicitly disentangle conflicting gradients into specialized expert subspaces. Extensive evaluations on WorldValuesBench, Community Alignment, and PRISM demonstrate that \textsc{CuMA} achieves state-of-the-art performance, significantly outperforming both dense baselines and semantic-only MoEs. Crucially, our analysis confirms that \textsc{CuMA} effectively mitigates mean collapse, preserving cultural diversity. Our code is available at https://github.com/Throll/CuMA.