When Meaning Travels: A Granular Lens on Hybrid-MoE's Role in Idiomatic Understanding for Language Models
作者: Sarmistha Das, Vaibhav Vishal, Shreyas Guha, Amaan Ali, Kitsuchart Pasupa, Sriparna Saha
分类: cs.CL
发布日期: 2026-06-01
💡 一句话要点
提出Hybrid-MoE框架Varnika，提升语言模型在多语言成语理解中的表现。
🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)
关键词: 多语言成语理解 混合专家模型 多模态学习 低资源语言 视觉语言模型
📋 核心要点
- 现有方法难以捕捉低资源语言中成语的文化内涵和隐喻复杂性，阻碍了跨语言迁移。
- 提出HybridMoE框架，通过融合多个专家意见并结合成语属性信号，提升成语理解能力。
- 实验表明，HybridMoE在多语言多模态环境中，显著提升了视觉语言模型对成语的理解能力。
📝 摘要（中文）
在多语言教育时代，学习成语为理解不同语言传统中的创造力、文化价值观、历史背景和多样视角提供了一个引人入胜的途径。本文展示了在印地语、孟加拉语和泰语等低资源东南亚语言中保留比喻和文化语义的方法，这些语言中文化丰富的成语因其深刻的隐喻复杂性而对计算建模和跨语言迁移构成了重大挑战。为了解决这种复杂性，我们提出了Varnika，一个重建的多模态成语语料库，包含3,533个多语言成语，并用与文本和视觉表示对齐的七种成语语调进行了丰富。此外，为了推断信息性的成语理解，我们引入了一个混合专家混合（HybridMoE）框架，该框架嵌入了多个成语专家意见，同时通过受控混合集成来自选定和未选定专家的输出来减轻专家稀疏性，并通过掩码多模态嵌入进一步增强了成语属性信号。为了分析跨多个维度的性能，我们提出了IDIO-TONE和成语验证分数，这是一个三阶段评估流程，用于测量（i）字面翻译保真度，（ii）视觉语义对齐，以及（iii）成语意义保留。实证评估表明，HybridMoE在先进的视觉语言模型中实现了5-6％的性能提升，证明了在多语言多模态环境中改进了比喻语言和文化嵌入意义的表示。
🔬 方法详解
问题定义：现有语言模型在处理低资源语言的成语时，面临着文化内涵难以捕捉、隐喻理解困难等问题。这些成语往往具有深厚的文化背景和复杂的语义结构，使得模型难以准确理解其含义，从而影响了跨语言迁移的效果。现有方法通常难以有效利用多模态信息，并且容易受到专家稀疏性的影响。
核心思路：论文的核心思路是利用混合专家模型（MoE）的优势，融合多个“成语专家”的意见，并结合视觉信息，从而更全面地理解成语的含义。通过引入“成语属性信号”，进一步引导模型关注成语的关键特征。同时，通过一种受控的混合机制，缓解专家稀疏性问题，提高模型的鲁棒性。
技术框架：Varnika框架主要包含以下几个部分：1) 多模态成语语料库：包含文本和视觉信息，并标注了成语的语调信息。2) HybridMoE模型：由多个“成语专家”组成，每个专家负责处理特定类型的成语。3) 成语属性信号：通过掩码多模态嵌入提取成语的关键特征。4) IDIO-TONE和成语验证分数：用于评估模型在字面翻译、视觉语义对齐和成语意义保留方面的性能。
关键创新：该论文的关键创新在于：1) 提出了HybridMoE框架，能够有效融合多个专家意见，提高成语理解的准确性。2) 引入了成语属性信号，引导模型关注成语的关键特征。3) 设计了一种受控的混合机制，缓解了专家稀疏性问题。4) 构建了一个多模态成语语料库，为相关研究提供了数据支持。
关键设计：HybridMoE模型中，每个专家可以是一个Transformer模型，输入是文本和视觉信息的融合表示。成语属性信号通过掩码多模态嵌入提取，并作为模型的附加输入。混合机制通过一个可学习的权重来控制选定专家和未选定专家的输出比例。损失函数包括字面翻译损失、视觉语义对齐损失和成语意义保留损失。
📊 实验亮点
实验结果表明，HybridMoE框架在多个视觉语言模型上取得了5-6%的性能提升，证明了其在成语理解方面的有效性。IDIO-TONE和成语验证分数等评估指标也验证了该模型在字面翻译保真度、视觉语义对齐和成语意义保留方面的优越性。
🎯 应用场景
该研究成果可应用于多语言教育、跨文化交流、智能翻译等领域。通过提升语言模型对成语的理解能力，可以帮助人们更好地理解不同文化背景下的语言表达，促进跨文化交流。此外，该技术还可以应用于智能翻译系统中，提高翻译的准确性和流畅性。
📄 摘要（原文）
In the contemporary epoch of multilingual education, learning idioms provides a fascinating gateway towards creativity, cultural values, historical context, and diverse perspectives inherent to various linguistic traditions. This paper showcases the navigation of retaining figurative and cultural semantics in low-resource Southeast Asian languages such as Hindi, Bengali, and Thai, where culturally rich idioms pose significant obstacles for computational modeling and cross-linguistic transfer due to their deep metaphorical complexity. To tackle such complexity, we present Varnika, a reconstructed multimodal idiom corpus comprising 3,533 multilingual idioms, enriched with seven idiomatic tones aligned with both textual and visual representations. Additionally, to infer informative idiomatic understanding, we introduce a Hybrid Mixture-of-Experts (HybridMoE) framework that embeds multiple idiomatic expert opinions while mitigating expert sparsity by integrating outputs from both selected and unselected experts through controlled hybridization, further augmented with Idiomatic Property Signals via masked multimodal embeddings. To analyze the performance across multiple dimensions, we propose the IDIO-TONE and Idiomatic Validation Score, a three-stage evaluation pipeline measuring (i) literal translation fidelity, (ii) visual-semantic alignment, and (iii) idiomatic meaning retention. Empirical evaluations highlight that HybridMoE achieves 5--6\% performance gains across advanced vision language models, demonstrating improved representation of figurative language and culturally embedded meaning in multilingual multimodal settings