Same Answer, Different Reasons: Trace-Level Divergence in Multilingual Large Language Models
作者: Rui Sun, Peizhao Mei, Xiewei Cheng, Kaizhuo Chen, Taoran Li, Zhiyuan Yu, Varun Chandrasekaran
分类: cs.AI, cs.CL
发布日期: 2026-10-21
💡 一句话要点
提出追踪级别差异框架以解决多语言模型可解释性问题
🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)
关键词: 多语言模型 可解释性 推理轨迹 结构相似性 评估方法 人工智能 机器学习
📋 核心要点
- 现有的评估方法主要关注最终答案的一致性，未能有效比较不同语言的支持证据，导致多语言模型的可解释性不足。
- 本文提出了一种追踪级别差异框架，通过分析可见推理轨迹的结构相似性和顺序一致性，提供更细致的评估方法。
- 在多个推理基准和语言的实验中，发现传统的整体相似性评估方法高估了一致性，强调了追踪级别评估的必要性。
📝 摘要（中文）
多语言大型语言模型在可验证性、教育和安全审计等场景中越来越多地被应用，但现有评估方法主要关注最终答案的一致性，未能有效比较不同语言用户所获得的支持证据。本文提出了一种追踪级别差异框架，通过结构化序列比较可见推理轨迹，将一致性分解为结构相似性、顺序一致性和整体相似性，并进行特定对比校准。实验结果表明，传统的整体相似性评估方法可能高估了多语言解释性材料的一致性，强调了追踪级别评估在多语言部署中的重要性。
🔬 方法详解
问题定义：本文旨在解决多语言大型语言模型在可解释性评估中的不足，现有方法仅关注最终答案的一致性，未能比较不同语言的推理支持证据的质量和一致性。
核心思路：提出追踪级别差异框架，通过结构化序列比较可见推理轨迹，分解一致性为结构相似性、顺序一致性和整体相似性，从而实现更全面的评估。
技术框架：该框架包括三个主要模块：1) 结构相似性评估；2) 顺序一致性分析；3) 整体相似性对比，结合特定对比校准以支持多语言比较。
关键创新：最重要的创新在于引入追踪级别的评估方法，能够揭示多语言模型在推理过程中的潜在差异，而不仅仅是最终答案的一致性。
关键设计：在实验中使用了多种句子编码器和步骤分段方法，确保评估的一致性，同时通过盲双语注释研究验证了人类判断与结构相似性的一致性。实验结果显示，语言特定的差异性在不同语言间的推理轨迹中表现明显。
🖼️ 关键图片
📊 实验亮点
实验结果显示，传统的整体相似性评估方法高估了多语言模型的一致性，52.1%至67.3%的例子在结构相似性上未能达到高一致性。通过追踪级别的评估，能够更准确地反映多语言模型的推理差异，强调了该方法的有效性和必要性。
🎯 应用场景
该研究的潜在应用领域包括教育、法律审计和安全性评估等场景，能够为多语言大型语言模型的可靠部署提供支持。通过更准确的可解释性评估，用户可以更好地理解模型的推理过程，从而提高信任度和安全性。
📄 摘要（原文）
Multilingual large language models are increasingly deployed in settings where visible reasoning traces support verification, education, and safety auditing, yet standard evaluations typically measure only final-answer agreement or holistic response similarity. As a result, they establish outcome consistency without determining whether users across languages receive comparable supporting evidence. We introduce a trace-level divergence framework that compares visible reasoning traces as structured sequences, decomposing agreement into structural similarity, order consistency, and holistic similarity, with pair-specific calibration to enable comparison across languages. Across three reasoning benchmarks, seven languages, and six frontier LLMs, the natural baseline---embedding each whole response and comparing the two by cosine---systematically overstates agreement: $52.1\%$--$67.3\%$ of examples in the top quartile of holistic similarity are not in the top quartile of structural similarity. This dissociation is stable across sentence encoders and step segmentations, and blind bilingual annotation studies in two English-anchored language pairs show that human judgments align with structural similarity rather than with the holistic baseline. A same-language control shows that the level of divergence is language-specific: two English traces for paraphrases of the same question agree more closely than an English trace and its counterparts in other languages. Our results show that answer-level and holistic evaluations can substantially overestimate the consistency of multilingual explanatory artifacts, motivating trace-level evaluation for reliable multilingual deployment.