Thinking on the Fly: Test-Time Reasoning Enhancement via Latent Thought Policy Optimization

📄 arXiv: 2510.04182v4 📥 PDF

作者: Wengao Ye, Yan Liang, Lianlei Shan

分类: cs.CL, cs.AI

发布日期: 2025-10-05 (更新: 2026-01-26)

备注: Accepted to ICLR 2026

💡 一句话要点

提出LTPO，通过优化隐空间向量提升LLM在测试时的推理能力

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 大型语言模型 隐式推理 策略优化 测试时优化 鲁棒性

📋 核心要点

  1. 现有隐式推理方法在面对复杂、分布外任务时表现脆弱，难以保证推理的鲁棒性。
  2. LTPO框架通过优化隐空间中的“思想”向量，提升LLM在测试阶段的推理能力，无需更新模型参数。
  3. 实验表明，LTPO在多个推理基准上超越了现有方法，尤其在极具挑战性的AIME基准上取得了显著提升。

📝 摘要（中文）

大型语言模型（LLM）的最新进展已从显式的思维链（CoT）推理转向更高效的隐式推理，其中中间思想被表示为向量而不是文本。然而，隐式推理在具有挑战性的、分布外的任务上可能很脆弱，而这些任务恰恰最需要鲁棒的推理。为了克服这些限制，我们引入了隐式思想策略优化（LTPO），这是一个无参数框架，完全在测试时增强LLM的推理能力，而无需模型参数更新。LTPO将中间隐式“思想”向量视为动态参数，针对每个问题实例进行主动优化。它采用在线策略梯度方法，该方法由内在的、基于置信度的奖励信号引导，该信号直接从冻结的LLM自身的输出分布计算得出，从而消除了优化过程中对外部监督或昂贵文本生成的需求。在五个推理基准上的大量实验表明，LTPO不仅在标准任务上匹配或超过了强大的基线，而且在其他方法失败的地方表现出了显著的鲁棒性。最值得注意的是，在极具挑战性的AIME基准上，现有隐式推理基线的准确率几乎降至零，而LTPO实现了显著的改进，展示了复杂推理的独特能力。

🔬 方法详解

问题定义：论文旨在解决大型语言模型（LLM）在面对复杂、分布外（out-of-distribution）推理任务时，隐式推理方法鲁棒性不足的问题。现有的隐式推理方法，虽然计算效率高，但在处理超出模型训练范围的难题时，性能会显著下降，甚至接近于随机猜测。这种脆弱性限制了LLM在实际应用中的可靠性。

核心思路：论文的核心思路是将LLM的中间隐层表示（即“思想”向量）视为可优化的动态参数。通过在测试时针对每个问题实例优化这些向量，使得LLM能够更好地理解和解决问题。这种优化的目标是最大化LLM自身的置信度，即让LLM对自己的答案更有把握。

技术框架：LTPO框架主要包含以下几个阶段：1) 前向传播：输入问题，LLM生成初始的隐层“思想”向量和预测结果。2) 奖励计算：基于LLM的输出分布，计算一个内在的、基于置信度的奖励信号。这个奖励信号反映了LLM对当前答案的确定程度。3) 策略优化：使用在线策略梯度方法，根据奖励信号调整“思想”向量。4) 迭代优化：重复步骤1-3，直到“思想”向量收敛或达到最大迭代次数。最终，使用优化后的“思想”向量生成最终答案。

关键创新：LTPO的关键创新在于：1) 无参数优化：完全在测试时进行优化，无需更新LLM的任何参数。2) 内在奖励信号：使用LLM自身的输出分布作为奖励信号，避免了外部监督或昂贵的文本生成。3) 在线策略梯度：采用在线学习的方式，针对每个问题实例动态调整“思想”向量。与现有方法相比，LTPO更具适应性和鲁棒性。

关键设计：LTPO的关键设计包括：1) 奖励函数：奖励函数的设计至关重要，论文采用基于softmax输出概率的熵值来衡量置信度，熵越低表示置信度越高。2) 策略梯度算法：论文采用REINFORCE算法进行策略梯度更新，目标是最大化累积奖励。3) 优化器：使用Adam优化器来更新“思想”向量。4) 迭代次数：需要合理设置迭代次数，以平衡优化效果和计算成本。

🖼️ 关键图片

img_0

📊 实验亮点

LTPO在五个推理基准上进行了评估，结果表明其性能优于或匹配了强大的基线方法。尤其是在极具挑战性的AIME基准上，现有隐式推理基线的准确率几乎降至零，而LTPO实现了显著的改进。例如，在AIME数据集上，LTPO的准确率从接近0%提升到了超过20%，展示了其在复杂推理方面的独特优势。

🎯 应用场景

LTPO框架具有广泛的应用前景，可以应用于各种需要复杂推理的场景，例如：问答系统、知识图谱推理、代码生成、数学问题求解等。该方法能够提升LLM在分布外任务上的鲁棒性，使其在实际应用中更加可靠。此外，LTPO的无参数优化特性使其易于部署和应用，无需对现有LLM进行微调。

📄 摘要（原文）

Recent advancements in Large Language Models (LLMs) have shifted from explicit Chain-of-Thought (CoT) reasoning to more efficient latent reasoning, where intermediate thoughts are represented as vectors rather than text. However, latent reasoning can be brittle on challenging, out-of-distribution tasks where robust reasoning is most critical. To overcome these limitations, we introduce Latent Thought Policy Optimization (LTPO), a parameter-free framework that enhances LLM reasoning entirely at test time, without requiring model parameter updates. LTPO treats intermediate latent "thought" vectors as dynamic parameters that are actively optimized for each problem instance. It employs an online policy gradient method guided by an intrinsic, confidence-based reward signal computed directly from the frozen LLM's own output distributions, eliminating the need for external supervision or expensive text generation during optimization. Extensive experiments on five reasoning benchmarks show that LTPO not only matches or surpasses strong baselines on standard tasks but also demonstrates remarkable robustness where others fail. Most notably, on highly challenging AIME benchmarks where existing latent reasoning baselines collapse to near-zero accuracy, LTPO delivers substantial improvements, showcasing a unique capability for complex reasoning.