When a Name Is Not a Name: A Benchmark Dataset and Distilled Reasoning for Culturally Entangled Bangla Homographs in Low-Resource LLMs
作者: Md. Asaduzzaman Shuvo
分类: cs.CL
发布日期: 2026-07-20
🔗 代码/项目: GITHUB
💡 一句话要点
提出文化纠缠同形异义词消歧义方法以解决低资源语言模型的偏见问题
🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)
关键词: 同形异义词 文化消歧义 低资源语言模型 链式思维提示 模型蒸馏
📋 核心要点
- 核心问题：现有语言模型在处理孟加拉语同形异义词时，普遍存在偏向普通名词的倾向，缺乏文化背景知识。
- 方法要点：引入文化纠缠同形异义词消歧义，构建包含专家验证的句子数据集，并通过对比链式思维提示来减少模型偏见。
- 实验或效果：通过蒸馏文化解释，小型模型的偏见从100%降至5%以下，显著提升了模型的理解能力。
📝 摘要（中文）
许多孟加拉语单词既是人名又是文化负载的普通名词，例如“Maya”既是女孩的名字，也是表示亲切关爱的词汇。选择正确的读音需要文化知识，而现代语言模型的预训练数据中缺乏这种知识。本文引入了文化纠缠同形异义词（CEH）消歧义，并构建了一个包含1,516个专家验证句子的孟加拉基准数据集，展示了模型在理解这些词汇时的系统性偏见。通过对比链式思维提示，本文显著降低了模型的偏见，展示了小型模型在文化解释蒸馏下的推理能力。
🔬 方法详解
问题定义：本文旨在解决孟加拉语同形异义词的消歧义问题，现有语言模型在处理这些词汇时，往往缺乏文化背景知识，导致理解偏差。
核心思路：论文提出文化纠缠同形异义词（CEH）消歧义方法，利用专家验证的句子数据集，结合对比链式思维提示，帮助模型更好地理解词汇的文化含义。
技术框架：整体架构包括数据集构建、模型训练和提示策略三个主要模块。数据集包含1,516个句子，模型通过对比链式思维提示进行推理。
关键创新：最重要的技术创新在于通过文化解释的蒸馏，使小型模型能够学习推理而非简单记忆，从而有效减少偏见。
关键设计：在模型训练中，采用了特定的损失函数和参数设置，以确保模型能够在不同的提示下进行有效推理，特别是针对文化背景的理解。
🖼️ 关键图片
📊 实验亮点
实验结果显示，通过对比链式思维提示，模型的偏见从100%降至5%以下，显著提升了对孟加拉语同形异义词的理解能力。此外，孟加拉特定模型在经过文化解释蒸馏后，成为最强的系统，展现出良好的推理能力。
🎯 应用场景
该研究的潜在应用领域包括自然语言处理、机器翻译和人机交互等，尤其是在低资源语言环境中，能够提升模型对文化背景的理解能力，增强其在实际应用中的表现。未来，该方法有望推广到其他语言和文化背景的消歧义任务中。
📄 摘要（原文）
Many Bangla words are at once personal names and culturally loaded common nouns, "Maya" is both a girl's name and a word for affectionate compassion. Choosing the right reading demands cultural knowledge that is scarce in the pretraining data of modern language models. We introduce Culturally Entangled Homograph (CEH) disambiguation and build a Bangla benchmark of 1,516 expert-verified sentences (3,032 labelled occurrences) in which one word appears twice with two distinct readings, each labelled with a culturally grounded category and an explanation of the reasoning behind it. Across open- and closed-source models, we find a systematic dominant-meaning bias: models default to the common-noun sense and overlook the name. A Bangla-specific model fails under every prompting regime we test, showing that language-specific pretraining alone does not confer cultural grounding. We further show that contrastive chain-of-thought prompting can sharply reduce this bias without training, and that distilling cultural explanations teaches small (1-3B) models to reason toward the correct reading rather than memorise labels, cutting dominant-meaning bias from as high as 100% to under 5% and turning the failed Bangla-specific model into our strongest system. Dataset and code are available at https://github.com/ashuvo25/BanglaCEH.