EPIC: Rethinking Trust Regions for Autoregressive LLM Policies via Exact-KL Prefix Importance-Ratio Clipping
作者: Chengxi Li, Hanlin Wu, Zhicheng Cai, Huan-ang Gao, Wei-Ying Ma, Jingjing Liu, Hao Zhou
分类: cs.LG
发布日期: 2026-10-21
备注: 27 pages. Code: https://github.com/LiChengxi666/EPIC
🔗 代码/项目: GITHUB
💡 一句话要点
提出EPIC以解决自回归LLM策略中的信任区域问题
🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture) 支柱九：具身大模型 (Embodied Foundation Models)
关键词: 强化学习 大型语言模型 自回归生成 信任区域 PPO算法 策略优化 重要性权重 数学推理
📋 核心要点
- 现有的PPO风格剪切方法在处理长响应和离线训练时存在策略变化评估不准确的问题。
- 论文通过将自回归生成视为有限时域的马尔可夫决策过程，提出了一种新的前缀级信任区域方法EPIC。
- 实验结果表明，EPIC在数学推理基准上优于标准和序列级剪切基线，且与基于路由重放的替代方案竞争力强。
📝 摘要（中文）
基于PPO风格剪切的强化学习（RL）已成为提升大型语言模型（LLM）推理能力的有效方法。然而，标准的令牌级剪切仅通过当前令牌的条件概率来衡量策略变化，而前缀条件上下文本身是由策略生成的。这种不匹配在长响应和离线训练中尤为重要。本文将自回归生成重新表述为有限时域的马尔可夫决策过程，并在行为策略采样下推导出其性能差异身份。由此得出的测度变化将生成前缀的累积似然比识别为每个逐步策略改进项的精确重要性权重。基于信任区域策略优化的单调改进原则，构建了一个使用精确反KL坐标的前缀级信任区域，从而提出了EPIC，一种直接调节前缀级策略漂移的PPO风格序列剪切方法。
🔬 方法详解
问题定义：现有的PPO风格剪切方法在评估策略变化时仅依赖当前令牌的条件概率，未能考虑前缀上下文的生成，导致在长响应和离线训练中效果不佳。
核心思路：论文将自回归生成重新定义为有限时域的马尔可夫决策过程，并推导出性能差异身份，从而识别出生成前缀的累积似然比作为每步策略改进的精确重要性权重。
技术框架：整体架构包括将自回归生成视为马尔可夫决策过程，构建前缀级信任区域，并通过精确的反KL坐标来调节策略漂移。主要模块包括行为策略采样、性能差异推导和信任区域构建。
关键创新：最重要的创新在于提出了基于前缀的信任区域方法EPIC，直接调节前缀级策略漂移，而不依赖于局部二次近似或专家路由重放。
关键设计：在设计中，使用了精确的反KL坐标$r-1- ext{log} r$，并确保行为策略期望等于对应前缀分布的KL散度，优化了策略改进的准确性。
🖼️ 关键图片
📊 实验亮点
实验结果显示，EPIC在数学推理基准上相较于标准剪切和序列级剪切基线有显著提升，具体性能数据表明其在多个任务上均表现优异，且与基于路由重放的替代方案相比，保持了竞争力。
🎯 应用场景
该研究的潜在应用领域包括自然语言处理中的对话系统、文本生成和智能问答等。通过提升大型语言模型的推理能力，EPIC能够在实际应用中提供更高质量的生成结果，推动智能助手和自动化系统的发展。
📄 摘要（原文）
Reinforcement learning (RL) based on PPO-style clipping has become an effective approach to improving the reasoning capabilities of large language models (LLMs). However, standard token-level clipping measures policy change only through the conditional probability of the current token, while the prefix conditioning context is itself generated by the policy. This mismatch becomes especially consequential in long-response and off-policy training. We reformulate autoregressive generation as a finite-horizon Markov decision process and derive its performance-difference identity under behavior-policy sampling. The resulting change of measure identifies the cumulative likelihood ratio of the generated prefix as the exact importance weight for each stepwise policy-improvement term. Starting from the monotonic-improvement principle of trust-region policy optimization, we then construct a prefix-level trust region using the exact reverse-KL coordinate $r-1-\log r$, whose behavior-policy expectation equals the corresponding prefix-distribution KL divergence. This yields EPIC, a PPO-style sequence-clipping method that directly regulates prefix-level policy drift without relying on a local quadratic approximation or expert-routing replay. Experiments on off-policy reinforcement learning with a sparse mixture-of-experts language model show that EPIC consistently outperforms standard and sequence-level clipping baselines across mathematical-reasoning benchmarks, while remaining competitive with routing-replay-based alternatives. Code is available at https://github.com/LiChengxi666/EPIC.