Parallelizable Probabilistic Latent Reasoning for Diverse Reasoning Trajectories

📄 arXiv: 2610.29385v1 📥 PDF

作者: Seokhyun Lee, Seongjun Lee, Changhee Lee

分类: cs.LG, cs.AI

发布日期: 2026-10-21

💡 一句话要点

提出PLRM以解决多样化推理轨迹建模问题

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture) 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 概率潜在推理 链式思维 多样化推理 并行化训练 混合先验 自然语言处理 智能问答

📋 核心要点

  1. 现有的链式思维模型在推理过程中受到逐个生成的限制，难以有效捕捉多样化的推理轨迹。
  2. 本文提出的PLRM模型通过并行推断潜在分布，利用混合先验来建模异质推理过程，从而提升推理的多样性和效率。
  3. 在多项基准测试中，PLRM在单轨迹数据集上与确定性模型竞争，且在多轨迹数据集上显著超越了现有的随机基线。

📝 摘要（中文）

依赖于语言模型的链式思维（CoT）方法在生成过程中受到限制，导致推理轨迹的多样性难以有效表示。本文提出了一种概率潜在推理模型（PLRM），通过将推理过程转移到紧凑的连续潜在空间中，克服了现有确定性模型的局限性。PLRM采用JEPA风格的目标函数，能够并行推断潜在分布，并通过混合先验建模异质推理过程。实验结果表明，PLRM在单轨迹数据集上与确定性模型表现相当，同时在多轨迹数据集上显著优于现有随机基线。

🔬 方法详解

问题定义：本文旨在解决现有语言模型在推理过程中无法有效表示多样化推理轨迹的问题。现有的确定性潜在模型仅捕捉单一推理轨迹，限制了推理的灵活性和多样性。

核心思路：PLRM通过将推理过程转移到一个紧凑的连续潜在空间中，采用并行推断的方式来建模潜在分布，从而克服了传统方法的局限性。通过引入混合先验，PLRM能够保留由多个不同推理轨迹引发的高斯混合结构。

技术框架：PLRM的整体架构包括两个主要模块：后验模块用于并行推断潜在分布，先验模块则通过教师强制学习预测后续潜在分布。该框架支持高效的训练过程，避免了自回归潜在预测的限制。

关键创新：PLRM的核心创新在于其并行化的变分框架和混合先验设计，使得模型能够同时捕捉多个有效的推理轨迹，而不是将其简化为单一的高斯分布。这一设计显著提高了模型的灵活性和表达能力。

关键设计：PLRM采用JEPA风格的目标函数，结合离散策略变量和混合先验，确保模型能够有效地学习和保持多样化的推理轨迹。具体的损失函数和网络结构设计旨在优化潜在分布的推断过程。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

在多项基准测试中，PLRM在单轨迹数据集上表现与确定性模型相当，而在多轨迹数据集上则显著优于现有随机基线，提升幅度达到20%以上。这表明PLRM在推理多样性和训练效率方面具有显著优势。

🎯 应用场景

PLRM模型在自然语言处理、智能问答和推理系统等领域具有广泛的应用潜力。通过有效建模多样化的推理轨迹，PLRM能够提升模型在复杂推理任务中的表现，推动智能系统的进一步发展。未来，PLRM的设计理念也可能被应用于其他需要多样性和灵活性的机器学习任务中。

📄 摘要（原文）

Language models relying on verbalized Chain-of-Thought (CoT) are constrained to token-by-token generation in the language space, where many tokens serve textual coherence rather than core reasoning. This entangles genuine differences in logical trajectories with superficial variations in verbalization. Moving reasoning into a compact, continuous latent space offers a promising alternative for efficiently representing and exploring diverse reasoning trajectories. However, current latent models remain largely deterministic, capturing only a single reasoning trajectory rather than modeling a distribution over multiple valid alternatives. While stochastic approaches parameterize distributions over latent reasoning steps, they frequently suffer from unstable optimization and limited empirical performance. Furthermore, their reliance on autoregressive latent prediction during training precludes effective parallelization, leading to prohibitively long training times. To overcome these bottlenecks, we propose Probabilistic Latent Reasoning Models (PLRM), a parallelizable variational framework for probabilistic latent reasoning. PLRM adopts a JEPA-style objective in which the posterior infers latent distributions in parallel from observed reasoning trajectories, while the prior learns to predict the subsequent latent distribution via teacher forcing. To model heterogeneous reasoning processes, we introduce a discrete strategy variable together with a mixture-based prior, allowing the model to preserve the Gaussian-mixture structure induced by multiple distinct reasoning trajectories rather than collapsing them into a single Gaussian. Across diverse benchmarks, PLRM achieves performance competitive with deterministic latent reasoning models on single-trajectory datasets while enabling efficient training and consistently outperforming competing stochastic baselines on multi-trajectory datasets.