Unrolled Flow Models for Reasoning
作者: Faissal Izermine, Hanru Bai, Oscar Davis, T. Konstantin Rusch
分类: cs.LG, cs.AI
发布日期: 2026-10-07
备注: 23 pages, 5 figures, 7 tables
💡 一句话要点
提出基于展开流模型的推理方法以解决图可达性问题
🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture)
关键词: 流匹配 推理能力 Transformer 潜在展开 数独 迷宫 自然语言处理 模型训练
📋 核心要点
- 现有流语言模型在推理任务中未能有效利用额外的集成步骤，限制了其性能提升。
- 本文提出通过模型自身的潜在展开进行训练，优化了流模型的推理能力。
- 在ProsQA数据集上，准确率提升至97%，并在复杂推理任务中取得显著性能提升。
📝 摘要（中文）
流匹配技术能够在少量步骤内实现语言生成，但额外的集成步骤是否能改善推理效果尚不明确。本文证明了由双层Transformer参数化的流模型可以解决图可达性问题，并指出所需的集成步骤数量与目标距离根节点的远近成正比。然而，标准流语言模型在推理任务中未必能从额外步骤中获益，原因在于现有目标独立监督每个时间点，未能有效训练连续步骤之间的关联。为此，本文提出通过模型自身的潜在展开进行训练，仅在终点解码。实验结果显示，在ProsQA数据集上准确率提升至97%，并且随着集成步骤的增加，性能持续改善。对于更复杂的推理任务，如数独和迷宫，潜在状态的球面收缩稳定了动态，且在参数量超过基线三倍的情况下取得了显著提升。多次采样展开进一步提升了性能，尽管对于较长答案的可靠选择仍具挑战性。这些结果为流模型的推理能力奠定了理论基础，并展示了展开训练、稳定潜在动态和展开选择如何在实践中实现这一能力。
🔬 方法详解
问题定义：本文旨在解决流模型在推理任务中未能有效利用额外集成步骤的问题，现有方法在独立监督下无法建立步骤间的关联性。
核心思路：通过训练模型自身的潜在展开，优化流模型的推理过程，仅在终点进行解码，从而提高模型的推理能力。
技术框架：整体架构包括双层Transformer作为流模型的基础，采用随机采样的潜在展开进行训练，最终在解码时仅关注终点的输出。
关键创新：最重要的创新在于通过潜在展开训练模型，使得每一步的输出能够依赖于前一步的状态，从而克服了传统方法的局限性。
关键设计：在训练过程中，采用了球面收缩技术以稳定潜在状态的动态，并引入无参数选择评分机制来优化多次采样的效果。
🖼️ 关键图片
📊 实验亮点
在ProsQA数据集上，本文提出的方法将准确率提升至97%，并在数独和迷宫等复杂推理任务中，采用球面收缩技术取得了显著的性能提升，超越了参数量超过三倍的基线模型。多次采样展开进一步增强了模型的表现，尽管在长答案选择上仍面临挑战。
🎯 应用场景
该研究的潜在应用领域包括自然语言处理中的推理任务，如问答系统、逻辑推理和复杂问题解决等。通过提升流模型的推理能力，能够在实际应用中实现更高的准确性和效率，未来可能对智能助手和自动化决策系统产生深远影响。
📄 摘要（原文）
Flow matching enables language generation in few steps, but whether additional integration steps improve reasoning remains unclear. We prove that a flow parameterized by a two-layer Transformer can solve graph reachability, with the required number of integration steps increasing with the target's distance from the root. Yet, standard flow language models can fail to benefit from additional steps on reasoning tasks. We attribute this limitation to objectives that supervise each time point independently, without explicitly training successive steps to build on one another. To address this, we instead train through the model's own latent rollout over a randomly sampled subinterval of [0, 1], decoding only at the endpoint. On ProsQA, this raises accuracy to 97% and enables performance to improve with additional integration steps. For the longer rollouts required by reasoning tasks such as Sudoku and Maze, retracting the latent state onto a sphere stabilizes the dynamics and yields substantial gains over baselines with more than three times as many parameters. Sampling multiple rollouts further improves performance when paired with a parameter-free selection score, although reliable selection remains challenging for longer answers. Together, these results establish a theoretical basis for reasoning with flows and show how rollout training, stable latent dynamics, and rollout selection help realize this capacity in practice.