XForecast: Evaluating Natural Language Explanations for Time Series Forecasting

📄 arXiv: 2410.14180v2 📥 PDF

作者: Taha Aksu, Chenghao Liu, Amrita Saha, Sarah Tan, Caiming Xiong, Doyen Sahoo

分类: cs.CL

发布日期: 2024-10-18 (更新: 2024-10-21)

💡 一句话要点

XForecast提出基于可模拟性的指标，评估时间序列预测自然语言解释的质量。

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 时间序列预测 可解释性AI 自然语言解释 可模拟性 评估指标

📋 核心要点

  1. 传统时间序列可解释性方法依赖专家知识，自然语言解释更易于理解，但缺乏有效的评估方法。
  2. 论文提出基于可模拟性的新指标，通过评估人类利用解释预测模型输出的能力来衡量解释质量。
  3. 实验表明，该指标能有效区分解释质量，并与人类判断一致，数值推理能力是影响LLM生成解释质量的关键因素。

📝 摘要（中文）

时间序列预测有助于决策，特别是对于依赖准确预测的利益相关者，理解和解释这些模型对于确保明智的决策至关重要。传统的XAI方法，如突出特征或时间重要性，通常需要专家知识。相比之下，自然语言解释（NLEs）更容易被非专业人士理解。然而，由于时间序列数据中复杂的因果关系，评估预测NLEs非常困难。为了解决这个问题，我们引入了两个新的基于可模拟性的性能指标，评估人类代理使用解释预测模型预测结果的能力。实验表明，这些指标可以区分好坏解释，并与人类判断相符。利用这些指标，我们进一步评估了最先进的大型语言模型（LLMs）生成时间序列数据解释的能力，发现数值推理而非模型大小是影响解释质量的主要因素。

🔬 方法详解

问题定义：时间序列预测在决策中至关重要，但现有解释方法（如特征重要性）需要领域专家知识，难以被非专业人士理解。自然语言解释（NLEs）更易用，但缺乏客观的评估标准，难以判断其质量优劣。因此，如何有效评估时间序列预测的自然语言解释成为一个关键问题。

核心思路：论文的核心思路是基于“可模拟性”来评估NLEs的质量。如果一个NLE能够帮助人类理解模型的预测过程，那么人类应该能够仅凭该解释来模拟模型的预测结果。因此，NLE的质量可以通过衡量人类基于NLE进行预测的准确程度来评估。

技术框架：该方法主要包含以下几个阶段：1) 使用时间序列预测模型生成预测结果；2) 使用待评估的NLE生成方法为每个预测结果生成对应的自然语言解释；3) 招募人类参与者，向他们展示时间序列数据和对应的NLE，并要求他们预测模型的结果；4) 使用提出的可模拟性指标，比较人类预测结果和模型预测结果，从而评估NLE的质量。

关键创新：论文的关键创新在于提出了基于可模拟性的NLE评估指标。与传统的基于特征重要性的评估方法不同，该指标直接衡量NLE对人类理解预测过程的帮助程度，更符合实际应用场景。此外，该方法不需要领域专家参与，降低了评估成本。

关键设计：论文提出了两个可模拟性指标：1) Prediction Agreement (PA)：衡量人类预测结果与模型预测结果一致的比例；2) Prediction Error (PE)：衡量人类预测结果与模型预测结果之间的误差大小。这两个指标可以综合反映NLE的质量。此外，论文还研究了不同LLM生成NLE的能力，并分析了模型大小和数值推理能力对NLE质量的影响。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果表明，提出的基于可模拟性的指标能够有效区分好坏解释，并且与人类的直觉判断相符。研究还发现，大型语言模型的数值推理能力而非模型大小是影响解释质量的关键因素。例如，具备更强数值推理能力的模型能够生成更准确、更易于理解的解释。

🎯 应用场景

该研究成果可应用于各种需要时间序列预测解释的领域，如金融预测、供应链管理、医疗诊断等。高质量的自然语言解释可以帮助用户更好地理解模型的预测结果，从而做出更明智的决策，提高决策效率和准确性。此外，该研究提出的评估指标可以用于指导NLE生成模型的训练和优化，提高NLE的质量。

📄 摘要（原文）

Time series forecasting aids decision-making, especially for stakeholders who rely on accurate predictions, making it very important to understand and explain these models to ensure informed decisions. Traditional explainable AI (XAI) methods, which underline feature or temporal importance, often require expert knowledge. In contrast, natural language explanations (NLEs) are more accessible to laypeople. However, evaluating forecast NLEs is difficult due to the complex causal relationships in time series data. To address this, we introduce two new performance metrics based on simulatability, assessing how well a human surrogate can predict model forecasts using the explanations. Experiments show these metrics differentiate good from poor explanations and align with human judgments. Utilizing these metrics, we further evaluate the ability of state-of-the-art large language models (LLMs) to generate explanations for time series data, finding that numerical reasoning, rather than model size, is the main factor influencing explanation quality.