SACQ: Structured Decoding with Memory-Conditioned Refinement for Long-Horizon Forecasting

📄 arXiv: 2610.11170v1 📥 PDF

作者: Guo Cheng, Zhengzhuo Xu, Chenchen Jing, Jingyi Hou

分类: cs.LG

发布日期: 2026-10-08

备注: 10 pages, 7 figures

💡 一句话要点

提出SACQ以解决长时间序列预测中的历史与未来对齐问题

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture)

关键词: 长时间序列预测 结构化预测 交叉注意力 鲁棒性优化 深度学习

📋 核心要点

  1. 现有的长时间序列预测方法在历史与未来对齐方面存在隐式耦合问题，导致对输入噪声的敏感性增加。
  2. SACQ通过引入结构化预测头，采用两阶段解码流程，首先建立粗略预测框架，再通过交叉注意力进行细化。
  3. 实验结果表明，SACQ在多个基准上显著优于传统的扁平读取方法，且在噪声条件下表现更为稳定。

📝 摘要（中文）

长时间序列预测（LTSF）模型通常采用基于补丁的编码器，并通过一个扁平的读取头将整个编码的历史记忆映射到所有未来步骤。这种隐式耦合使得历史与未来的对齐变得模糊，并加剧了对输入损坏和极端监督噪声的敏感性。本文提出了SACQ，一个插件式的结构化预测头，替代扁平读取头而不改变编码器。SACQ采用两阶段解码管道：首先建立粗略的补丁网格预测框架，然后通过对历史记忆的交叉注意力来细化每个未来位置，并通过学习的每补丁门控将注意力衍生的修正与粗略框架合并。为稳定长时间优化和噪声标签下的训练，我们进一步提出了一种批适应性缩放的log-cosh损失，自动校准对当前残差规模的鲁棒性，抑制异常梯度，同时保留类似均方误差的敏感性。SACQ在PatchTST、DLinear和patch-Mamba骨干网络上实现了顶级的测试均方误差/平均绝对误差，且仅增加了适度的参数和延迟。

🔬 方法详解

问题定义：本文旨在解决长时间序列预测中，现有方法在历史与未来对齐方面的隐式耦合问题，导致对输入噪声的敏感性增加。

核心思路：SACQ通过引入结构化预测头，替代传统的扁平读取头，采用两阶段解码流程，首先建立粗略的补丁网格预测框架，然后通过交叉注意力细化每个未来位置。

技术框架：整体架构包括两个主要阶段：第一阶段生成粗略的补丁网格预测，第二阶段通过交叉注意力机制对历史记忆进行细化，并通过学习的门控机制合并修正。

关键创新：SACQ的核心创新在于其结构化预测头的设计，能够有效地处理历史与未来的对齐问题，显著降低对输入噪声的敏感性。

关键设计：采用批适应性缩放的log-cosh损失函数，自动校准对当前残差规模的鲁棒性，同时保留对典型错误的敏感性，确保优化过程的稳定性。该方法在参数和延迟上仅增加了适度的开销。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

在多个基准测试中，SACQ在均方误差（MSE）和平均绝对误差（MAE）上均表现优异，显著优于传统的扁平读取方法。具体而言，SACQ在PatchTST、DLinear和patch-Mamba骨干网络上实现了顶级的测试性能，且在输入损坏和标签噪声的压力测试中表现稳定。

🎯 应用场景

该研究的潜在应用领域包括金融市场预测、气象预报和智能制造等长时间序列数据分析场景。通过提高预测的准确性和鲁棒性，SACQ能够为决策支持系统提供更可靠的依据，进而推动相关领域的技术进步和应用落地。

📄 摘要（原文）

Long-term time series forecasting (LTSF) models predominantly employ patch-based encoders terminated by a flatten readout head that maps the entire encoded historical memory to all future steps through a single shared projection. This implicit coupling of future positions obscures position-specific historical-to-future alignment and amplifies sensitivity to corrupted inputs and extreme supervision noise. We present SACQ, a plug-in structured prediction head that replaces flatten readout while keeping the encoder unchanged. SACQ adopts a two-stage decoding pipeline: it first establishes a coarse patch-grid forecast scaffold, then refines each future position through cross-attention over historical memory and merges the attention-derived correction with the coarse scaffold via a learned per-patch gate. To stabilize optimization under long horizons and noisy labels, we further propose a batch-adaptive scaled log-cosh loss that automatically calibrates robustness to the current residual scale, suppressing outlier gradients while preserving MSE-like sensitivity for typical errors. SACQ attains top-tier test MSE/MAE across PatchTST, DLinear, and patch-Mamba backbones with only modest incremental overhead in parameters and latency. Under inference-time input corruption and training-set label-noise stress tests, SACQ substantially outperforms flatten readouts, with ablation studies validating each architectural component.