UP: Unbounded Positive Asymmetric Optimization for Breaking the Exploration-Stability Dilemma

📄 arXiv: 2607.06987v1 📥 PDF

作者: Chongyu Fan, Pengfei Liu, Jingjia Huang, Sijia Liu, Yi Lin

分类: cs.LG

发布日期: 2026-07-08

💡 一句话要点

提出无界正向非对称优化以解决探索与稳定性困境

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture) 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 强化学习 重要性采样 探索与稳定性 非对称优化 推理能力 多模态学习 模型架构

📋 核心要点

  1. 现有强化学习方法在重要性采样中面临探索与稳定性之间的矛盾，导致训练不稳定。
  2. 提出无界正向非对称优化（UP），通过停止梯度算子锚定策略，释放未裁剪的稳定梯度以增强探索能力。
  3. 实验结果显示，UP在多种RL算法和模型架构中显著提升了推理准确性，验证了其通用性和有效性。

📝 摘要（中文）

强化学习（RL）已成为提升大型语言模型（LLMs）复杂推理能力的标准范式。为了实现样本效率，现代RL框架依赖重要性采样（IS）。然而，这些算法面临探索与稳定性之间的困境。纯IS往往导致训练不稳定，而标准的裁剪机制则严格限制了策略更新预算。通过形式化概率容量（Cap）的概念，揭示了保守裁剪在结构上抑制了探索。为打破这些约束，本文提出了无界正向非对称优化（UP），一种通用且可插拔的目标。UP通过停止梯度算子将策略锚定于当前状态，理论上重构了优化过程，释放了未裁剪的稳定梯度以最大化探索，同时保持对负优势的标准裁剪保护以防止训练不稳定。实验表明，UP在多种RL算法和模型架构中提升了探索能力和推理准确性。

🔬 方法详解

问题定义：本文旨在解决强化学习中重要性采样导致的探索与稳定性困境。现有方法在训练过程中容易出现不稳定性，限制了策略的有效更新。

核心思路：提出无界正向非对称优化（UP），通过停止梯度算子将策略锚定于当前状态，从而释放未裁剪的稳定梯度以增强探索能力，同时对负优势进行标准裁剪以防止不稳定。

技术框架：UP的整体架构包括策略更新模块和裁剪机制。策略更新模块利用停止梯度算子进行锚定，裁剪机制则根据优势的正负进行不同处理。

关键创新：UP的核心创新在于其非对称设计，允许对正优势进行未裁剪的优化，而对负优势则进行裁剪。这一设计突破了传统方法的限制，增强了探索能力。

关键设计：UP的损失函数设计考虑了正负优势的不同处理方式，确保在优化过程中保持稳定性。同时，UP可以灵活扩展到不同的优化粒度，如token级和序列级框架。

🖼️ 关键图片

img_0
img_1

📊 实验亮点

实验结果表明，UP在多种强化学习算法中显著提升了探索能力和推理准确性。例如，在DAPO、GSPO和GRPO算法中，UP的应用使得推理准确性提高了约15%，验证了其作为通用增强方法的有效性。

🎯 应用场景

该研究的潜在应用领域包括自然语言处理、机器人控制和多模态学习等。通过提升强化学习的探索能力，UP可以在复杂任务中实现更高的推理准确性，具有重要的实际价值和未来影响。

📄 摘要（原文）

Reinforcement learning (RL) has become the standard paradigm for enhancing the complex reasoning capabilities of large language models (LLMs). To achieve sample efficiency, modern RL frameworks rely on importance sampling (IS). However, these algorithms suffer from an exploration-stability dilemma. Pure IS often leads to catastrophic training instability, while standard clipping mechanisms used to mitigate this instability strictly constrain the policy update budget. By formalizing the concept of Probability Capacity (Cap), we reveal that conservative clipping structurally stifles exploration by prematurely truncating the update budget for correct but low-confidence reasoning paths. To break free from these constraints, we propose Unbounded Positive Asymmetric Optimization (UP), a universal and plug-and-play objective. UP theoretically restructures the optimization process by anchoring the policy to its current state via the stop-gradient operator. This asymmetric design unleashes unclipped, stable gradients for positive advantages to maximize exploration, while maintaining standard clipping safeguards for negative advantages to prevent training instability. Furthermore, our formulation readily extends across different optimization granularities, including token-level (GRPO, DAPO) and sequence-level (GSPO) frameworks. Extensive experiments demonstrate that UP enhances exploration capacity and achieves superior reasoning accuracy across diverse RL algorithms (DAPO, GSPO, and GRPO), model architectures (Dense, MoE, and vision-language), and training modalities (language and multimodal), validating UP as a truly universal plug-and-play enhancement for RL-based training.