Deconstructing Off-Policy Ratios: Entropy-Scaled Trust Regions for Asynchronous Reinforcement Learning

📄 arXiv: 2607.22186v1 📥 PDF

作者: Guanqun Zhao, Zijun Xie, Binbin Zheng, Enlei Gong, Jiafeng Lu, Yehan Yang, Aoqi Hu, Zeyu Chen

分类: cs.AI

发布日期: 2026-07-24

💡 一句话要点

提出熵缩放信任区域以解决异步强化学习中的数据不稳定问题

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture) 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 异步强化学习 重要性比率 熵缩放 策略优化 模型训练

📋 核心要点

  1. 现有异步强化学习方法在处理过时离线数据时，容易导致优化不稳定和策略崩溃。
  2. 本文提出熵缩放信任区域（ESTR），通过局部熵缩放每个标记的离线偏差，解决了现有方法的不足。
  3. 在长时间代理任务和数学推理基准上，ESTR的表现优于现有异步方法，训练速度提高了2.6倍。

📝 摘要（中文）

异步强化学习（RL）通过将回滚生成与策略优化重叠，加速了大型语言模型（LLM）的后训练。然而，由于生成的过时离线数据可能导致优化不稳定和策略崩溃，现有方法通常仅根据重要性比率的大小来保留或丢弃标记，未考虑标记位置的差异。本文揭示了重要性比率的自然尺度与标记熵的系统性变化，并提出熵缩放信任区域（ESTR），通过局部熵缩放每个标记的离线偏差，避免了对重要性比率的单一修正。实验表明，ESTR在长时间代理任务和数学推理基准上优于现有异步方法，并实现了最佳的训练-推理一致性。与同步GRPO相比，ESTR在提高训练速度的同时保持了相当的准确性。

🔬 方法详解

问题定义：本文旨在解决异步强化学习中由于过时离线数据导致的优化不稳定性和策略崩溃问题。现有方法通常只关注重要性比率的大小，未能有效处理标记位置的差异，导致训练效果不佳。

核心思路：论文提出的熵缩放信任区域（ESTR）通过将每个标记的离线偏差与其局部熵相结合，提供了一种更为精细的修正机制。这种设计能够有效区分高熵和低熵情况下的样本噪声与探索性偏差。

技术框架：ESTR的整体架构包括数据收集、重要性比率计算、熵缩放修正和策略更新四个主要模块。通过异步生成和优化的结合，ESTR能够在不增加额外计算负担的情况下提升训练效率。

关键创新：ESTR的核心创新在于引入了熵缩放机制，使得每个标记的修正能够根据其局部熵进行动态调整。这一方法与现有的基于重要性比率的修正方式有本质区别，能够更好地处理异步动态下的样本噪声。

关键设计：在参数设置上，ESTR无需额外的前向传递或显式版本切换检测，简化了训练流程。损失函数设计上，结合了熵和重要性比率的动态调整，确保了训练过程的稳定性和效率。具体的网络结构和参数设置在实验部分进行了详细描述。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果显示，ESTR在长时间代理任务和数学推理基准上均优于现有异步方法，且在训练速度上提升了2.6倍，同时保持了与同步GRPO相当的准确性。这表明ESTR在实际应用中具有显著的优势。

🎯 应用场景

该研究的潜在应用领域包括大型语言模型的后训练、智能代理系统的优化以及其他需要高效数据处理的强化学习任务。通过提高训练速度和稳定性，ESTR有望在实际应用中显著提升模型性能，推动智能系统的进一步发展。

📄 摘要（原文）

Asynchronous reinforcement learning (RL) accelerates large language model (LLM) post-training by overlapping rollout generation with policy optimization, but the resulting stale, off-policy data can destabilize optimization and ultimately cause policy collapse. Existing methods typically retain or discard tokens based solely on the magnitude of their importance ratios, applying the same threshold uniformly across token positions. In this work, we reveal that the natural scale of the importance ratio varies systematically with token entropy. Under asynchronous dynamics, this entropy-ratio scaling dictates two distinct phenomena: at low entropy, the inherent train-inference discrepancy is drastically amplified into substantial sampling noise; at high entropy, in-flight weight updates naturally induce pronounced, legitimate exploratory deviations. Consequently, magnitude-only correction inadvertently admits the amplified noise while strictly masking out the essential exploration triggered by in-flight updates. To address this, we propose the Entropy-Scaled Trust Region (ESTR), which scales each token's off-policy deviation by its local entropy, requiring no auxiliary forward passes or explicit version-switch detection. Across long-horizon agentic tasks and mathematical reasoning benchmarks, ESTR consistently outperforms existing asynchronous methods and achieves the best train-inference consistency. Compared with synchronous GRPO, ESTR attains comparable accuracy while improving training speed by $2.6\times$.