PAR: Progress-Aligned Recurrence for Length Generalization in State Tracking

📄 arXiv: 2610.27628v1 📥 PDF

作者: Pan Wang, Yihao Hu, Guangyuan Dong, Yitong Lin, Hang Wang, Zimi Liu, Zhihao Wen, Jianshe Li, Jiang-Ming Yang, Wei Wu, Yongqi Tong

分类: cs.CL

发布日期: 2026-10-20

💡 一句话要点

提出进度对齐递归方法以解决状态跟踪中的长度泛化问题

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture) 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 状态跟踪 递归神经网络 长序列学习 进度对齐 模型泛化 自蒸馏 自然语言处理

📋 核心要点

  1. 现有的循环语言模型在处理长问题时，额外的迭代并未能有效提升性能，导致状态跟踪的准确性不足。
  2. 本文提出的进度对齐递归（PAR）方法，通过训练每次迭代的预测与前几次操作的状态相匹配，解决了状态规模变化的问题。
  3. 在swap-$S_5$任务中，PAR方法使得模型在512次移动时的平均全状态准确率达到95.5%，显著优于现有基线方法。

📝 摘要（中文）

循环语言模型在测试时可以运行更多迭代，但额外的迭代并不一定能帮助解决更长的问题。在序列状态跟踪中，最终答案的监督并未明确每次迭代应推进多远，重复更新可能会改变递归状态的规模。本文提出了进度对齐递归（PAR），该方法训练第k次迭代的预测与前k次操作后的状态相匹配，并将递归状态重新缩放到其第一次迭代的标准。在swap-$S_5$任务上，经过最多32次移动训练的Qwen2.5-0.5B模型在512次移动时达到了95.5%的平均全状态准确率，相比之下，RLT的准确率为55.7%，而显式思维链的准确率仅为0.8%。

🔬 方法详解

问题定义：本文旨在解决循环语言模型在状态跟踪任务中对长问题的泛化能力不足，现有方法在迭代过程中未能有效利用中间状态信息，导致性能下降。

核心思路：提出进度对齐递归（PAR）方法，通过将每次迭代的预测与前几次操作后的状态进行对齐，确保模型在处理长序列时能够保持状态的一致性和准确性。

技术框架：PAR方法的整体架构包括状态对齐模块和递归状态缩放模块。状态对齐模块负责将每次迭代的输出与目标状态进行匹配，而递归状态缩放模块则将状态重新调整到初始标准。

关键创新：PAR的核心创新在于通过进度对齐机制，显著提高了模型在长序列任务中的表现，尤其是在状态更新的过程中，避免了状态规模的失真。

关键设计：在模型训练中，采用了特定的损失函数来优化状态对齐，同时设计了自蒸馏机制，以便在缺乏中间标签时仍能有效学习。

🖼️ 关键图片

fig_0
fig_1

📊 实验亮点

在swap-$S_5$任务中，PAR方法使得Qwen2.5-0.5B模型在512次移动时的平均全状态准确率达到了95.5%，相比于RLT的55.7%和显式思维链的0.8%，展现出显著的性能提升，尤其是在长序列处理能力上。

🎯 应用场景

该研究的潜在应用领域包括自然语言处理中的长文本理解、机器人状态跟踪以及复杂决策系统。通过提高模型在长序列任务中的泛化能力，PAR方法能够在实际应用中提供更高的准确性和可靠性，推动智能系统的进一步发展。

📄 摘要（原文）

Looped language models can run more iterations at test time, but additional iterations need not help them solve longer problems. For sequential state tracking, final-answer supervision does not specify how far each iteration should advance, and repeated updates can change the scale of the recurrent state. We introduce \textbf{Progress-Aligned Recurrence (PAR)}, which trains the prediction at iteration $k$ to match the state after the first $k$ operations and rescales recurrent states to their first-iteration norms. On swap-$S_5$, a Qwen2.5-0.5B model trained on at most 32 moves achieves 95.5\% mean full-state accuracy at 512 moves, or $16\times$ the training length, compared with 55.7\% reported for RLT and 0.8\% for explicit chain of thought on the same backbone. Controlled $S_5$ ablations show that removing norm anchoring reduces the extrapolation factor from $16\times$ to below $2.2\times$, and replacing progress-aligned targets with final-answer supervision reduces it to at most $8\times$. A learned completion readout selects when to answer without a supplied stopping depth. When intermediate labels are unavailable, prefix self-distillation induces the correspondence from shorter problem prefixes using only final answers. The gains apply across sequential state-tracking tasks, establishing the task structure required for depth extrapolation. These findings support training intermediate predictions and state scale together to make additional recurrent depth useful for longer problems.