Parallel Thinking for Large Language Model with Path Diversity

📄 arXiv: 2610.29501v1 📥 PDF

作者: Jiaru Qian, Yihong Dong, Xue Jiang, Chun-Wah Hsu, Zhi Jin, Ge Li

分类: cs.AI

发布日期: 2026-10-21

🔗 代码/项目: GITHUB

💡 一句话要点

提出多样化并行思维方法以解决推理路径同质化问题

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture) 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 并行思维 路径多样性 强化学习 推理能力 大型语言模型

📋 核心要点

  1. 现有的并行思维方法在推理路径的多样性上存在不足，导致推理轨迹趋同，影响推理效果。
  2. 本文提出多样化并行思维（DPT），通过惩罚路径相似性来鼓励模型探索不同的推理策略。
  3. 实验结果显示，DPT在多个基准测试中表现优异，超越了现有的并行思维方法，验证了路径多样性的重要性。

📝 摘要（中文）

并行思维作为增强大型语言模型推理能力的有前景的范式，通过同时探索多个推理路径。然而，现有的通过强化学习实现的并行思维方法常常面临推理路径的模式崩溃问题，导致推理轨迹趋同，从而削弱了并行思维的基本动机。本文提出了一种简单而有效的多样化并行思维（DPT）方法，通过惩罚并行思维路径的前缀相似性，鼓励模型发展不同的推理策略，从而增强推理空间的全面探索。实验结果表明，DPT在多个推理基准上超越了之前的并行思维方法，取得了最先进的性能。

🔬 方法详解

问题定义：本文旨在解决现有并行思维方法中推理路径同质化的问题，导致推理效果不佳。现有方法在强化学习中容易出现模式崩溃，无法有效维护多种假设。

核心思路：DPT的核心思想是通过惩罚并行思维路径的前缀相似性，鼓励模型发展多样化的推理策略，从而实现更全面的推理探索。这样的设计旨在保持推理路径的多样性，避免过早陷入次优解。

技术框架：DPT的整体架构包括多个模块，首先通过强化学习框架进行路径探索，然后引入相似性惩罚机制，最后通过奖励机制促进多样化推理策略的生成。

关键创新：DPT的主要创新在于引入了路径相似性惩罚机制，这与现有方法的单一奖励机制形成鲜明对比，从而有效提升了推理路径的多样性。

关键设计：在DPT中，设计了特定的损失函数来计算路径相似性，并设置了相应的超参数以平衡奖励与惩罚的关系，确保模型能够有效探索推理空间。具体的网络结构和训练流程也经过精心设计，以支持多样化推理策略的生成。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果表明，DPT在多个推理基准上超越了之前的并行思维方法，达到了最先进的性能，具体表现为在某些任务上提升了5%-10%的准确率，验证了路径多样性在推理中的关键作用。

🎯 应用场景

该研究的潜在应用领域包括自然语言处理、智能问答系统和自动推理等。通过提升大型语言模型的推理能力，DPT可以在复杂任务中提供更为准确和多样化的解答，具有重要的实际价值和未来影响。

📄 摘要（原文）

Parallel thinking has emerged as a promising paradigm for enhancing the reasoning capabilities of Large Language Models (LLMs) by exploring multiple reasoning paths simultaneously. However, we identify that parallel thinking via Reinforcement Learning (RL) typically suffers from the mode collapse of reasoning paths, where parallel thinking trajectories degenerate into similar ones. This homogeneity undermines the fundamental motivation of parallel thinking, that is, maintaining multiple hypotheses concurrently to prevent premature loss into a suboptimal solution. In this paper, we propose Diverse Parallel Thinking (DPT), a simple yet effective RL approach for parallel thinking designed to encourage path diversity. DPT rewards the model to develop distinct reasoning strategies by penalizing the prefix similarity of parallel thinking paths, thereby enhancing a more comprehensive exploration of the reasoning space. We conduct various experiments and analyses across multiple reasoning benchmarks to demonstrate the effectiveness of DPT. Results show that DPT successfully outperforms previous parallel thinking methods, achieving state-of-the-art performance over baselines. We validate path diversity as a key element to improve parallel thinking. Our code is available at https://github.com/JiaruQian/DPT.