Literal Lock-In: How Test Language Shifts Literal Attraction in Typed Decision Models on Bengali Idioms
作者: Adib Sakhawat, Syed Rifat Raiyan
分类: cs.CL
发布日期: 2026-10-15
备注: Under review, 33 pages, 12 figures, 22 tables
🔗 代码/项目: GITHUB
💡 一句话要点
提出语言测试对决策模型的影响分析以解决语义理解问题
🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)
关键词: 决策模型 语言测试 孟加拉语习语 模型校准 语义理解 机器学习 自然语言处理
📋 核心要点
- 现有决策模型在处理语言输入时，缺乏对语义的有效理解，导致模型表现不稳定。
- 论文提出通过干预输入选项，分析语言测试对决策模型的影响，尤其是字面释义的作用。
- 实验结果显示，模型在孟加拉语中对选项的捕获能力显著高于英语，且校准性能普遍下降。
📝 摘要（中文）
本研究审计了三种决策模型，包括编码器评分器、解码器评分器和封闭API，探讨了输入语言对模型表现的影响。通过对专家标注的孟加拉语习语进行干预，发现将习语的字面释义放入选项列表中，显著提高了模型对该选项的吸引力，导致65%至96%的错误被捕获。此外，研究表明在孟加拉语中，模型对选项的捕获程度是英语的1.9至6.4倍，表明测试语言的特性对模型表现有显著影响。所有模型的校准性能均有所下降，且在开放选项中，模型的信心反转，随机门控的效果优于基于信心的门控。
🔬 方法详解
问题定义：本研究旨在解决决策模型在不同语言测试下表现不一致的问题，尤其是缺乏对语义的理解导致的错误率高企。现有方法未能有效利用语言特性，导致模型在特定语言环境下的表现不佳。
核心思路：论文的核心思路是通过将习语的字面释义纳入选项列表，观察其对模型决策的影响，从而揭示语言测试对模型表现的关键作用。这样的设计旨在探讨语言特性如何影响模型的决策过程。
技术框架：研究采用了三种决策模型：编码器评分器、解码器评分器和封闭API。通过对输入进行干预，利用专家标注的孟加拉语习语进行实验，分析模型在不同语言下的表现。
关键创新：最重要的技术创新在于通过语言测试的干预，揭示了字面释义对模型决策的强烈吸引力。这一发现与现有方法的本质区别在于，强调了语言特性在模型表现中的重要性。
关键设计：在实验中，选项列表的设计至关重要，尤其是字面释义的引入。此外，模型的校准性能和信心评估也被纳入考虑，确保实验结果的可靠性。
🖼️ 关键图片
📊 实验亮点
实验结果显示，将字面释义纳入选项列表后，模型对该选项的吸引力显著增强，导致65%至96%的错误被捕获。在孟加拉语中，模型对选项的捕获能力是英语的1.9至6.4倍，表明语言特性对模型表现的显著影响。
🎯 应用场景
该研究的潜在应用领域包括自然语言处理、机器翻译和智能问答系统等。通过理解语言对决策模型的影响，可以优化模型设计，提高其在多语言环境下的表现，进而提升用户体验和系统的实际应用价值。
📄 摘要（原文）
Decision models, non-generative scorers that report a probability over caller-supplied options and emit no text, are increasingly deployed as routers, classifiers and guardrails. Because they generate nothing, rationales and chain-of-thought do not apply. We audit three: an encoder scorer, a decoder scorer and a closed API, entirely through interventions on their input, using expert-annotated Bengali idioms carrying a gold figurative and a gold literal gloss. Dropping an idiom's own literal gloss into the option list draws every arm toward it, taking 65% to 96% of each arm's remaining Bengali errors. A model-by-language matrix over one shared item set shows how far this depends on the test language: every arm is 1.9 to 6.4 times more captured in Bengali than in English on the same paired entries, the commercial model's apparent resistance is a property of its test language, and capability does not order the failure. Calibration degrades in all three arms, and on the open arms confidence inverts, so gating on it is worse than gating at random. On a semantics-free option list, where accuracy is at chance, the best-calibrated arm still reports mean confidence 0.82. Code and data: https://github.com/sakhadib/literal-lock-in.