Evaluating Multi-Dimensional Generalization of Large Language Models in Temporal Extraction Tasks

📄 arXiv: 2610.02549v1 📥 PDF

作者: Fahmid Shahriar Iqbal, Ritam Dutt, Soumitra Das, Arnav Verma, Sagnik Ray Choudhury

分类: cs.CL

发布日期: 2026-10-01

备注: accepted AACL-IJCNLP 2026 Findings

💡 一句话要点

评估大型语言模型在时间提取任务中的多维泛化能力

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 时间提取 事件表达 大型语言模型 多维泛化 推理策略 模型评估 自然语言处理

📋 核心要点

  1. 现有方法在时间和事件表达提取任务中面临标注模糊和领域敏感性等挑战，导致模型性能不稳定。
  2. 本文通过评估多种模型配置，系统研究大型语言模型在时间提取任务中的多维泛化能力，提出了跨维度的推理策略。
  3. 实验结果表明，强基础性能通常与更好的泛化能力相关，但在分布变化下这种关系减弱，归纳提示在多种情况下表现一致。

📝 摘要（中文）

时间和事件表达提取是基本的时间推理任务，但由于标注模糊、领域敏感性和模型行为不稳定等问题，仍然面临挑战。现有评估主要集中在领域内性能，缺乏对分布变化下可靠性的深入洞察。本文评估了多种模型配置在四个泛化维度上的表现，探讨了基础性能的转移、跨维度相关性以及规模、架构和提示的影响。研究发现，强大的基础任务性能通常预测更好的泛化能力，但在显著的分布变化下，这种关系减弱。归纳提示在领域转移、对抗扰动、组合性和长度增加等方面表现最为一致，而规模、架构及演绎和溯因提示策略的收益则不均且特定于维度。最终结论是，LLM在时间提取任务中的泛化能力不能仅依赖单一维度进行预测，也无法从领域内或单维度评估中可靠推断，强调了需要跨维度泛化的推理策略。

🔬 方法详解

问题定义：本文旨在解决大型语言模型在时间和事件表达提取任务中的泛化能力不足问题，现有方法在面对分布变化时表现不稳定。

核心思路：通过评估不同模型配置在多个维度上的表现，探讨基础性能、跨维度相关性及提示策略的影响，以实现更可靠的泛化能力。

技术框架：研究采用系统评估的方法，涵盖基础性能评估、跨维度相关性分析及不同提示策略的比较，主要模块包括模型配置、性能评估和结果分析。

关键创新：提出了跨维度的推理策略，强调在时间提取任务中，泛化能力不能仅依赖单一维度进行预测，这一观点与现有方法的单维度评估形成鲜明对比。

关键设计：在实验中，采用了多种模型架构和提示策略，关注归纳提示的稳定性，同时分析了规模和架构对性能的影响，确保评估的全面性和准确性。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果显示，强大的基础任务性能通常与更好的泛化能力相关，但在显著的分布变化下，这种关系减弱。归纳提示在多个领域转移和对抗扰动中表现出一致性，强调了跨维度推理策略的重要性。

🎯 应用场景

该研究的潜在应用领域包括自然语言处理中的时间信息提取、事件检测和智能问答系统等。通过提高大型语言模型在时间提取任务中的泛化能力，可以增强其在实际应用中的可靠性和适应性，推动相关技术的发展。

📄 摘要（原文）

Time and event expression extraction are fundamental temporal reasoning tasks, but the problem remains difficult due to annotation ambiguity, domain sensitivity, and unstable model behavior. Existing evaluations focus on in-domain performance, offering limited insight into reliability under distribution shifts. We evaluate multiple model configurations across families, architectures, and reasoning strategies over four dimensions of generalization, examining transfer from base performance, cross-dimensional correlations, and the effects of scale, architecture, and prompting. This provides a systematic study of how prompted LLMs generalize in time and event expression extraction tasks. We find that strong base-task performance generally predicts better generalization. However, this relationship weakens under substantial distribution shifts. Inductive prompting performs most consistently across domain shift, adversarial perturbations, compositionality, and length increase, while gains from scale, architecture, and deductive and abductive prompting strategies are uneven and dimension-specific. We conclude that LLM generalization in temporal extraction tasks cannot be predicted from any single dimension alone and cannot be reliably inferred from in-domain or single-dimension evaluations, highlighting the need for reasoning strategies that generalize across dimensions.