The Reliance Hypothesis: Chain-of-Thought Faithfulness Rises as Language Resource Level Falls

📄 arXiv: 2610.22841v1 📥 PDF

作者: Lucas Resck, Jingyi Sun, Qianli Wang, Isabelle Augenstein, Anna Korhonen

分类: cs.CL, cs.AI

发布日期: 2026-10-16

备注: 21 pages, 10 figures, 16 tables

💡 一句话要点

提出依赖假说以解决低资源语言中的推理问题

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 链式思维 低资源语言 推理依赖 知识密集型任务 多语言处理 模型信心 依赖假说

📋 核心要点

  1. 现有研究主要集中在英语，低资源语言的链式思维忠诚度尚未得到充分探讨，影响了模型的推理能力。
  2. 本文提出依赖假说，认为在低资源语言的知识密集型任务中，模型对推理的依赖程度会增加。
  3. 通过对八种语言的多项选择题进行实验，发现知识密集型任务中忠诚度随资源水平下降而上升，推理密集型任务则未见此现象。

📝 摘要（中文）

链式思维（CoT）忠诚度对于监控、解释和安全部署大型语言模型至关重要，但其研究主要集中在英语上。语言的资源水平不同，模型在低资源语言中对知识的掌握较少，可能影响其推理依赖程度。本文首次将CoT忠诚度与资源水平和任务类型（知识密集型或推理密集型）联系起来。通过对八种语言的多项选择题进行实验，发现知识密集型任务中，资源水平降低时忠诚度上升，而推理密集型任务则没有这种趋势。我们提出并验证了依赖假说：当模型无法回忆答案时，尤其是在低资源语言的知识密集型任务中，模型更依赖推理。模型信心部分解释了资源水平的影响，但无法解释知识与推理之间的差距。

🔬 方法详解

问题定义：本文旨在探讨链式思维忠诚度如何受到语言资源水平和任务类型的影响。现有方法未能充分考虑低资源语言的推理依赖问题，导致模型在这些语言上的表现不佳。

核心思路：提出依赖假说，认为在知识密集型任务中，模型在低资源语言上更依赖推理，而在推理密集型任务中则不然。通过对比不同语言的表现，揭示了模型推理与知识回忆之间的关系。

技术框架：研究使用了多语言的多项选择题数据集，分析了不同语言模型在知识密集型和推理密集型任务上的表现。主要模块包括数据预处理、模型训练和性能评估。

关键创新：首次将链式思维忠诚度与语言资源水平和任务类型相结合，提出依赖假说，揭示了低资源语言中推理依赖的特征。

关键设计：在实验中使用了多种模型和忠诚度评估指标，重点分析了模型信心对推理依赖的影响，揭示了在低资源语言中模型表现的复杂性。通过对比不同语言的结果，发现了西蒙斯悖论的存在。

🖼️ 关键图片

img_0
img_1
img_2

📊 实验亮点

实验结果显示，在知识密集型任务中，随着资源水平的降低，模型的忠诚度显著上升，而在推理密集型任务中则未观察到此现象。通过对比四种模型和多种忠诚度指标，验证了依赖假说的有效性，揭示了模型信心与推理依赖之间的复杂关系。

🎯 应用场景

该研究对多语言处理、机器翻译和跨语言知识迁移等领域具有重要的应用价值。通过理解低资源语言中模型的推理依赖，可以改善模型在这些语言上的表现，推动自然语言处理技术的普及与应用。未来，研究成果可为开发更具鲁棒性的多语言模型提供理论支持。

📄 摘要（原文）

Chain-of-Thought (CoT) faithfulness matters for monitoring, explaining and safely deploying large language models, yet it has been studied mostly in English. Languages differ in level, the amount of text available to learn from, so models know less in lower-resource languages, which may change how much they rely on their reasoning. To our knowledge, we are the first to relate CoT faithfulness to both resource level and task type (knowledge- or reasoning-intensive). On parallel multiple-choice questions from Multilingual Massive Multitask Language Understanding (MMMLU) in eight languages, faithfulness rises as resource level falls on knowledge-intensive tasks but not on reasoning-intensive ones, a gap that points the same way across four models and several faithfulness measures. We propose, and find support for, the Reliance Hypothesis: models rely more on their reasoning when they cannot recall the answer, as in lower-resource languages on knowledge-intensive tasks. Model confidence partly explains the effect of resource level, but not the knowledge-reasoning gap. Languages in which models are less confident rely more on reasoning, yet less confident answers within a language do not, a Simpson's paradox. In lower-resource languages, models rely on their reasoning for more answers, not more strongly for each. CoT monitoring may therefore be most informative in lower-resource languages, where it is least often validated.