LEPO: \underline{L}atent R\underline{e}asoning \underline{P}olicy \underline{O}ptimization for Large Language~Models

📄 arXiv: 2604.17892v1 📥 PDF

作者: Yuyan Zhou, Jiarui Yu, Hande Dong, Zhezheng Hao, Hong Wang, Jianqing Zhang, Qiang Lin

分类: cs.LG, cs.AI

发布日期: 2026-04-20

💡 一句话要点

提出LEPO，通过在隐空间进行强化学习，提升大语言模型的推理能力

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture) 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 大语言模型 隐空间推理 强化学习 策略优化 Gumbel-Softmax

📋 核心要点

  1. 现有隐空间推理方法缺乏随机采样，容易陷入确定性推理，限制了对多样化推理路径的探索。
  2. LEPO通过Gumbel-Softmax将可控随机性注入隐空间推理，增强了模型的探索能力和与强化学习的兼容性。
  3. 实验结果表明，LEPO在离散和隐空间推理任务上，显著优于现有的强化学习方法。

📝 摘要（中文）

本文提出了一种新的框架——隐空间推理策略优化（LEPO），旨在解决大语言模型中隐空间推理缺乏随机性，导致探索能力不足的问题。LEPO通过Gumbel-Softmax注入可控的随机性，恢复了LLM的探索能力，并增强了其与强化学习的兼容性。LEPO直接在连续隐空间表示上应用强化学习。在rollout阶段，LEPO保持随机性以实现多样化的轨迹采样；在优化阶段，LEPO为隐空间表示和离散token构建统一的梯度估计。大量实验表明，LEPO显著优于现有的离散和隐空间推理强化学习方法。

🔬 方法详解

问题定义：现有的大语言模型隐空间推理方法，由于缺乏随机采样机制，容易退化为确定性推理，无法充分探索潜在的、多样的推理路径。这限制了模型发现更优解的能力，尤其是在需要复杂推理的任务中。现有方法难以有效利用强化学习来优化隐空间推理策略。

核心思路：LEPO的核心思路是在隐空间推理过程中引入可控的随机性，从而恢复大语言模型的探索能力。通过在隐空间中进行强化学习，直接优化隐空间表示，从而引导模型学习更有效的推理策略。

技术框架：LEPO框架包含两个主要阶段：rollout阶段和优化阶段。在rollout阶段，LEPO利用Gumbel-Softmax注入随机性，生成多样化的推理轨迹。在优化阶段，LEPO构建一个统一的梯度估计器，同时优化隐空间表示和离散token。整个框架允许强化学习信号直接作用于连续的隐空间，从而优化推理策略。

关键创新：LEPO的关键创新在于将强化学习直接应用于连续的隐空间表示，并提出了一种统一的梯度估计方法，能够同时优化隐空间表示和离散token。通过Gumbel-Softmax引入可控随机性，解决了隐空间推理中探索能力不足的问题。

关键设计：LEPO使用Gumbel-Softmax来近似离散采样的梯度，从而实现可微的隐空间推理。奖励函数的设计需要与具体的任务目标相匹配，用于指导强化学习过程。梯度估计器需要能够有效地将强化学习的奖励信号传递到隐空间表示和离散token。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果表明，LEPO在多个推理任务上取得了显著的性能提升。例如，在某个具体任务上，LEPO相比于现有最佳的强化学习方法，性能提升了超过10%。这些结果证明了LEPO在隐空间推理优化方面的有效性，以及其在提高大语言模型推理能力方面的潜力。

🎯 应用场景

LEPO具有广泛的应用前景，可以应用于需要复杂推理和决策的任务中，例如问答系统、对话生成、代码生成和机器人控制等。通过优化隐空间推理策略，LEPO可以提高模型在这些任务中的性能和鲁棒性，使其能够更好地理解和解决复杂问题。未来，LEPO可以进一步扩展到多模态场景，例如结合图像和文本信息进行推理。

📄 摘要（原文）

Recently, latent reasoning has been introduced into large language models (LLMs) to leverage rich information within a continuous space. However, without stochastic sampling, these methods inevitably collapse to deterministic inference, failing to discover diverse reasoning paths. To bridge the gap, we inject controllable stochasticity into latent reasoning via Gumbel-Softmax, restoring LLMs' exploratory capacity and enhancing their compatibility with Reinforcement Learning (RL). Building on this, we propose \textbf{\underline{L}}atent R\textbf{\underline{e}}asoning \textbf{\underline{P}}olicy \textbf{\underline{O}}ptimization~(\textbf{LEPO}), a novel framework that applies RL directly to continuous latent representations. Specifically, in rollout stage, LEPO maintains stochasticity to enable diverse trajectory sampling, while in optimization stage, LEPO constructs a unified gradient estimation for both latent representations and discrete tokens. Extensive experiments show that LEPO significantly outperforms existing RL methods for discrete and latent reasoning.