Diverse Reasoning Paths Matter: Symbolic Equivalence Augmentation for Enhancing RL Exploration

📄 arXiv: 2610.22665v1 📥 PDF

作者: Xiaoou Liu, Tiejin Chen, Hanyang Chen, Yuan Ling, Hua Wei

分类: cs.SC, cs.AI

发布日期: 2026-10-15

备注: Accepted by 2026 AACL

💡 一句话要点

提出EquivAug以增强RLVR探索能力

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture) 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 强化学习 推理能力 数据增强 符号等价变换 监督微调 模型性能 自然语言处理

📋 核心要点

  1. 现有的强化学习方法在推理能力上存在不足，特别是在利用监督微调数据时的有效性尚未得到充分研究。
  2. 本文提出了EquivAug框架，通过符号等价变换生成多样化的推理路径，以增强强化学习的探索能力。
  3. 实验结果显示，EquivAug在GSM8K和FOLIO数据集上，推理路径多样性和准确性均显著提升，验证了推理步骤多样性与RLVR性能的正相关性。

📝 摘要（中文）

基于可验证奖励的强化学习（RLVR）已成为提升大规模语言模型（LLM）推理能力的重要方法。然而，监督微调（SFT）数据在有效下游RL中的作用尚未得到充分探讨。本文提出了一个关键假设：在SFT过程中，推理步骤的多样性是提升RLVR性能的关键因素。为验证这一假设，我们引入了EquivAug，一个通过符号等价变换生成多样化且可证明正确的推理路径的数据增强框架。实验结果表明，EquivAug在推理路径多样性和准确性上均显著优于现有方法。

🔬 方法详解

问题定义：本文旨在解决现有强化学习方法在推理能力上的不足，特别是监督微调数据的有效利用问题。现有方法未能充分考虑推理步骤的多样性对下游任务的影响。

核心思路：论文提出的核心思路是通过EquivAug框架，利用符号等价变换生成多样化的推理路径，从而提升强化学习的探索能力。该方法强调推理步骤的多样性，而非仅仅依赖表面词汇的变化。

技术框架：EquivAug的整体架构包括三个主要阶段：首先，将链式推理（CoT）解决方案转换为形式化的符号表示；其次，应用符号等价变换生成多样化的推理路径；最后，重构自然语言解释以形成训练数据。

关键创新：最重要的技术创新在于通过符号等价变换生成的推理路径多样性，这与现有方法的表面词汇变化形成了本质区别，提供了更深层次的推理能力提升。

关键设计：在设计上，EquivAug关注推理步骤的多样性，采用了特定的损失函数以确保生成路径的正确性，并在网络结构上进行了优化，以支持符号表示的转换和重构。具体参数设置和网络结构细节在实验部分进行了详细描述。

🖼️ 关键图片

fig_0
fig_1

📊 实验亮点

实验结果表明，EquivAug在GSM8K和FOLIO数据集上，推理路径多样性显著提升，且在GRPO后准确性达到最高，验证了推理步骤多样性与RLVR性能之间的正相关性。

🎯 应用场景

该研究的潜在应用领域包括教育、自动化推理系统和智能问答等。通过提升模型的推理能力，EquivAug能够在复杂任务中提供更为准确的解答，具有广泛的实际价值和未来影响。

📄 摘要（原文）

Reinforcement learning with verifiable rewards (RLVR) has emerged as a powerful paradigm for improving the reasoning capabilities of LLMs. However, the role of supervised fine-tuning (SFT) data in enabling effective downstream RL remains underexplored. In this paper, we investigate a key hypothesis: the diversity of reasoning steps in chain-of-thought (CoT) during SFT is a critical enabler of RLVR performance. To test this hypothesis, we introduce EquivAug, a data augmentation framework that uses symbolic equivalence transformations to generate diverse yet provably correct reasoning paths. By converting CoT solutions into formal symbolic representations, applying equivalence transformations, and reconstructing natural-language explanations, EquivAug produces training data that differs in reasoning steps rather than surface-level lexical variation. Experiments on GSM8K and FOLIO across model scales demonstrate that EquivAug consistently achieves the highest reasoning path diversity after SFT and the strongest accuracy after GRPO. Our results establish that CoT diversity during SFT is positively correlated with downstream RLVR performance.