Language Unalignability: Why Some Concepts Resist Cross-Cultural Benchmark Evaluation
作者: Shu-Kai Hsieh, Da-Chen Lian
分类: cs.CL
发布日期: 2026-10-06
备注: Position paper. 32 pages (10 pages main text), 6 figures, 12 tables
💡 一句话要点
提出语言不对齐性理论以解决跨文化评估问题
🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)
关键词: 多语言模型 翻译同构假设 语用标记 文化差异 跨文化评估 语言不对齐性 上下文嵌入 低资源语言
📋 核心要点
- 现有的多语言LLMs评估方法依赖于翻译同构假设，未能有效处理某些概念的跨文化评估。
- 论文提出使用上下文嵌入的点集表示概念，定义$α$-不对齐性，强调映射的局限性。
- 通过实验证明，翻译失败与语言家族和资源类别相关，且模型在特定语言上的干预未能提高性能。
📝 摘要（中文）
当前多语言大型语言模型（LLMs）的评估基于隐含的翻译同构假设（TIA），即不同语言的语义结构是相互一致且可映射的。本文指出这一假设在实践中被违反，并且在原则上对某些类型的概念（如语用标记、敬语和历史分层术语）是不适用的。我们通过使用上下文嵌入的点集表示概念，形式化了这一失败，定义了$α$-不对齐性，强调了在保持词汇和结构忠实性方面的映射不可能性。我们提供了三层证据，表明文化能力的单一标量化会导致“概率平坦化”，并认为识别不对齐类是尊重文化差异的AI的前提。
🔬 方法详解
问题定义：本文解决的问题是现有多语言LLMs评估方法在跨文化语义映射中的局限性，尤其是对某些概念的处理不当。现有方法未能考虑到语义结构的文化差异，导致评估结果失真。
核心思路：论文的核心思路是通过上下文嵌入的点集形式化概念，定义$α$-不对齐性，强调在保持词汇和结构忠实性方面的映射不可能性，从而揭示语言之间的深层次不对齐。
技术框架：整体架构包括三个主要模块：1) 使用云图框架表示概念；2) 定义$α$-不对齐性并进行理论分析；3) 通过多维诊断特征（如循环一致性、语用负载不一致等）进行实证验证。
关键创新：最重要的技术创新在于提出了$α$-不对齐性这一概念，明确了在多语言模型中无法同时保持词汇和结构忠实性的理论基础，这与现有方法的假设形成鲜明对比。
关键设计：在实验中，使用了九种模型对Yami语言进行案例研究，发现模型激活编码了与其他低资源和南岛语系语言的规律性，但特定语言神经元的干预未能显著提高性能，表明该规律性可见但不可用。
🖼️ 关键图片
📊 实验亮点
实验结果显示，FLORES-200翻译失败与语言家族和资源类别相关，而与书写系统无关。此外，LOBSTER推理分数在不同语言家族间存在显著差异，表明模型在处理低资源语言时的局限性。
🎯 应用场景
该研究的潜在应用领域包括多语言自然语言处理、跨文化交流和AI伦理等。通过识别和理解语言不对齐性，未来的AI系统可以更好地尊重文化差异，提供更准确的跨文化交互和翻译服务，从而推动全球化背景下的技术发展。
📄 摘要（原文）
Current evaluation of multilingual Large Language Models (LLMs) rests on an implicit Translation-Isomorphism Assumption (TIA): that semantic structures across languages are congruent and mutually mappable without loss of information. We argue that this assumption is not merely violated in practice, but ill-posed in principle for a typologically identifiable class of concepts, including pragmatic markers, honorifics, and diachronically stratified terms. We formalize this failure using a usage-cloud framework, representing concepts as point sets of contextualized embeddings. We define $α$-unalignability as the impossibility of any mapping that simultaneously preserves lexical faithfulness (centroid correspondence) and structural faithfulness (local neighborhood topology). We provide three layers of evidence. Behaviorally, we show that FLORES-200 translation failures are predicted by language family and resource class but not by script, and that LOBSTER reasoning scores vary by family. Mechanistically, we report a Representation-Intervention Gap (RIG) in a nine-model case study on Yami: the models' activations encode a regularity along which Yami groups with other low-resource and Austronesian languages, yet interventions on language-specific neurons show no demonstrated advantage over random masks: the regularity is visible but not usable by this intervention. Finally, we operationalize these findings into a multidimensional diagnostic profile: Cycle-Consistency, Pragmatic-Load Disagreement, Manifold-Curvature Mismatch, and RIG. We argue that collapsing cultural competence into a single scalar incentivizes "probabilistic flattening," and that recognizing the unalignable class is a precondition for AI that respects, rather than erases, cultural divergence. This suggests that multilingual alignment is not a single well-defined objective, but a set of mutually incompatible projections.