Multilingual LLMs Inherently Reward In-Language Time-Sensitive Semantic Alignment for Low-Resource Languages

📄 arXiv: 2412.08090v2 📥 PDF

作者: Ashutosh Bajpai, Tanmoy Chakraborty

分类: cs.CL, cs.AI, cs.LG

发布日期: 2024-12-11 (更新: 2025-02-24)

💡 一句话要点

提出CLiTSSA，提升多语言LLM在低资源语言时间敏感语义对齐任务上的性能。

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 多语言模型 低资源语言 时间推理 跨语言学习 语义对齐 上下文学习 mTEMPREASON

📋 核心要点

  1. 现有跨语言上下文学习方法在处理低资源语言的时间敏感查询时表现不佳，无法充分利用语言内语义对齐信息。
  2. 提出Cross-Lingual Time-Sensitive Semantic Alignment (CLiTSSA) 方法，利用语言内语义相似度信息，提升低资源语言的时间推理能力。
  3. 在mTEMPREASON数据集上，CLiTSSA在罗马尼亚语、德语和法语上优于现有基线，证明了其有效性。

📝 摘要（中文）

大型语言模型(LLMs)在资源丰富的语言和低资源语言之间的标注资源不平衡是一个显著的障碍。最近，通过从多语言预训练Transformer中检索语义对齐的示例，跨语言上下文学习(X-ICL)取得了进展，有望缓解这个问题。然而，我们的研究表明，LLMs本质上更倾向于奖励语言内语义对齐的跨语言实例，而不是直接的跨语言语义对齐，尤其是在处理X-ICL设置中的时间敏感查询时。这类查询需要LLMs具备可靠的时间推理能力，但目前的研究主要集中在英语上。本研究旨在通过提高低资源语言的时间推理能力来弥合这一差距。为此，我们引入了mTEMPREASON，一个针对不同程度低资源语言的时间推理数据集，并提出了一种新的方法，即跨语言时间敏感语义对齐(CLiTSSA)，以提高这些上下文中的时间推理能力。为了实现这一点，我们构建了mTEMPREASON的扩展，包括成对的并行跨语言时间查询以及它们预期的语言内语义相似度得分。我们的实验结果表明，在罗马尼亚语、德语和法语这三种语言中，CLiTSSA在三个时间任务上，以及在四个同时代的LLMs中，都优于已建立的基线。这标志着在跨语言时间推理的资源不平衡问题上迈出了重要一步。

🔬 方法详解

问题定义：论文旨在解决多语言大型语言模型(LLMs)在低资源语言中进行时间敏感推理时性能不足的问题。现有的跨语言上下文学习(X-ICL)方法虽然取得了一定的进展，但主要依赖于跨语言的语义对齐，忽略了语言内语义对齐的重要性，尤其是在处理需要时间推理的查询时，导致性能下降。

核心思路：论文的核心思路是利用语言内语义对齐的信息来增强LLMs在低资源语言中的时间推理能力。具体来说，论文认为LLMs更倾向于奖励语言内语义对齐的跨语言实例，因此可以通过引入语言内语义相似度作为指导，来提升模型在时间敏感任务上的表现。

技术框架：论文提出了Cross-Lingual Time-Sensitive Semantic Alignment (CLiTSSA)方法。该方法首先构建了一个扩展的mTEMPREASON数据集，包含成对的跨语言时间查询以及它们预期的语言内语义相似度得分。然后，利用这些数据来训练LLMs，使其能够更好地理解和利用语言内语义对齐信息。整体流程包括数据构建、模型训练和评估三个阶段。

关键创新：论文的关键创新在于提出了CLiTSSA方法，该方法显式地利用了语言内语义相似度信息来指导跨语言时间推理。与以往主要关注跨语言语义对齐的方法不同，CLiTSSA强调了语言内语义对齐的重要性，并将其融入到模型训练中。

关键设计：CLiTSSA的关键设计包括：1) 构建了包含语言内语义相似度得分的mTEMPREASON扩展数据集；2) 使用该数据集训练LLMs，目标是使模型能够预测给定跨语言查询对的语言内语义相似度；3) 在推理阶段，利用预测的语言内语义相似度来选择最合适的上下文示例，从而提高时间推理的准确性。具体的损失函数和网络结构等细节在论文中未明确给出，属于未知信息。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果表明，CLiTSSA在罗马尼亚语、德语和法语这三种语言的三个时间任务上，以及在四个同时代的LLMs中，都优于已建立的基线。具体性能提升数据未在摘要中给出，属于未知信息。该结果证明了CLiTSSA在提升低资源语言时间推理能力方面的有效性。

🎯 应用场景

该研究成果可应用于多语言信息检索、跨语言问答系统、多语言事件抽取等领域。通过提升低资源语言的时间推理能力，可以使LLMs更好地理解和处理不同语言的时间相关信息，从而为全球用户提供更准确、更全面的服务。未来，该方法有望推广到其他类型的推理任务和更多的低资源语言。

📄 摘要（原文）

The unwavering disparity in labeled resources between resource-rich languages and those considered low-resource remains a significant impediment for Large Language Models (LLMs). Recent strides in cross-lingual in-context learning (X-ICL), mainly through semantically aligned examples retrieved from multilingual pre-trained transformers, have shown promise in mitigating this issue. However, our investigation reveals that LLMs intrinsically reward in-language semantically aligned cross-lingual instances over direct cross-lingual semantic alignments, with a pronounced disparity in handling time-sensitive queries in the X-ICL setup. Such queries demand sound temporal reasoning ability from LLMs, yet the advancements have predominantly focused on English. This study aims to bridge this gap by improving temporal reasoning capabilities in low-resource languages. To this end, we introduce mTEMPREASON, a temporal reasoning dataset aimed at the varied degrees of low-resource languages and propose Cross-Lingual Time-Sensitive Semantic Alignment (CLiTSSA), a novel method to improve temporal reasoning in these contexts. To facilitate this, we construct an extension of mTEMPREASON comprising pairs of parallel cross-language temporal queries along with their anticipated in-language semantic similarity scores. Our empirical evidence underscores the superior performance of CLiTSSA compared to established baselines across three languages -- Romanian, German, and French, encompassing three temporal tasks and including a diverse set of four contemporaneous LLMs. This marks a significant step forward in addressing resource disparity in the context of temporal reasoning across languages.