DCRL: Decoupling and Coupling Reinforcement Learning via Policy-Reward Manifold Alignment

📄 arXiv: 2609.27572v1 📥 PDF

作者: Henan Sun, Zehua Li, Haitao Hu, Qifan Zhang, Jianfeng Zhang, Nuo Chen, Jia Li

分类: cs.LG, cs.AI

发布日期: 2026-09-23

备注: Under review

💡 一句话要点

提出DCRL框架以解决强化学习中的奖励系统不稳定问题

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture) 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 强化学习 奖励系统 逻辑推理 模型优化 三段论 流形对齐 自然语言处理

📋 核心要点

  1. 现有的奖励系统在强化学习中存在优化不稳定和奖励黑客等问题，影响了模型的推理能力。
  2. 本文提出DCRL框架，通过动态演化奖励标准和策略-奖励重新耦合机制，解决了流形不匹配问题。
  3. 实验结果显示，DCRL在多个推理领域中表现优异，Qwen3-4B模型的性能超越了Qwen3-32B基线，接近Qwen3-235B模型。

📝 摘要（中文）

强化学习（RL）已成为提升大型语言模型（LLMs）推理能力的关键范式。然而，现有的奖励系统（如基于规则和基于模型的奖励）常常面临优化不稳定和奖励黑客等问题。本文从几何角度重新审视LLMs的推理过程，将其概念化为由逻辑推理、评估和表示三个相互依赖的子流形组成的耦合流形。我们提出的DCRL框架通过引入基于三段论的提示演化机制和奖励与策略重新耦合机制，解决了策略-奖励流形不匹配的问题。理论分析和多领域实验表明，DCRL在性能上优于现有的基于规则和基于模型的基线，尤其是训练后的Qwen3-4B模型在性能上接近Qwen3-235B模型，展示了其卓越的有效性和泛化能力。

🔬 方法详解

问题定义：本文旨在解决现有强化学习奖励系统的不稳定性和流形不匹配问题，尤其是在逻辑推理和评估过程中的挑战。

核心思路：通过将推理过程视为耦合流形，DCRL框架实现了奖励标准的动态演化和策略与奖励的重新耦合，从而提升了模型的推理能力和稳定性。

技术框架：DCRL框架包含两个主要模块：一是基于三段论的提示演化机制，二是策略-奖励重新耦合机制，二者协同工作以优化奖励和策略模型。

关键创新：DCRL的核心创新在于将奖励和策略的更新过程进行耦合，解决了传统方法中存在的流形不匹配问题，这一设计在理论上和实践中均具有重要意义。

关键设计：在DCRL中，采用了动态调整的奖励标准和联合更新的损失函数，以确保在训练过程中策略和奖励模型的一致性，具体的网络结构和参数设置在实验中进行了优化。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果表明，DCRL框架在多个推理领域中均优于现有的基于规则和基于模型的基线，特别是Qwen3-4B模型在性能上超越了Qwen3-32B基线，接近Qwen3-235B模型，展示了显著的性能提升和良好的泛化能力。

🎯 应用场景

该研究的潜在应用领域包括自然语言处理、智能对话系统和自动化推理等。通过提升大型语言模型的推理能力，DCRL框架能够在实际应用中提供更为准确和稳定的决策支持，具有广泛的实际价值和未来影响。

📄 摘要（原文）

Reinforcement learning (RL) has emerged as a key paradigm for improving the reasoning capabilities of large language models (LLMs). However, existing reward systems, such as rule-based and reward-model-based, often exhibit issues such as unstable optimization and reward hacking. In this work, we revisit the general reasoning of LLMs from a geometric perspective, conceptualizing it as a coupled manifold composed of three interdependent sub-manifolds: logical deduction, evaluation, and representation. Based on this perspective, response generation in RL can be interpreted as a decoupling process from the evaluation manifold, while reward estimation corresponds to a decoupling process from the logical deduction manifold. The limitations of rule-based and reward-model RL systems can be geometrically interpreted as the mismatch of policy-reward manifolds during RL process. To address the aforementioned misalignment, we propose Decoupling and Coupling Reinforcement Learning (DCRL) framework, which incorporates two key components: (1) a syllogistic logic-based prompt evolution mechanism that dynamically refines reward rubrics to enhance the expressiveness of the reward manifold; and (2) a policy-reward re-coupling mechanism that jointly updates the reward and policy models, ensuring consistent evaluation and mitigating manifold mismatch during training. Theoretical analysis and extensive experiments across multiple reasoning domains demonstrate that DCRL consistently outperforms both rule-based and reward-model baselines. Notably, a Qwen3-4B model trained under DCRL surpasses a Qwen3-32B baseline and approaches the performance of a Qwen3-235B model, highlighting superior effectiveness and generalization in RL.