Fibration Policy Optimization

📄 arXiv: 2603.08239v1 📥 PDF

作者: Chang Li, Tshihao Tsu, Yaren Zhang, Chao Xue, Xiaodong He

分类: cs.LG, cs.AI, cs.CL

发布日期: 2026-03-09

💡 一句话要点

提出Fibration Policy Optimization，用于大规模语言模型多尺度分层策略优化。

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 强化学习 大规模语言模型 策略优化 纤维丛 信任域 分层控制 多尺度优化

📋 核心要点

  1. 现有强化学习方法在处理大规模语言模型时，缺乏对token级别、轨迹级别和更高层次的分层稳定性控制。
  2. 论文提出Fibration Policy Optimization (FiberPO)，通过纤维丛门控机制，将策略优化分解为不同层次的门控，实现多尺度稳定性控制。
  3. 实验结果表明，FiberPO能够提供更好的更新方向，提高token效率，并在多层级结构中实现独立的信任域预算。

📝 摘要（中文）

大型语言模型越来越多地被训练为跨多个领域、专家分区和代理管道的异构系统，但目前流行的近端目标函数在单一尺度上运行，并且缺乏用于耦合token级别、轨迹级别和更高层次分层稳定性控制的原则性机制。为了弥合这一差距，我们推导了聚合策略审查目标（APC-Obj），这是基于样本的TV-TRPO的第一个精确的无约束重构，证明了基于裁剪的替代设计和信任域优化是同一问题的对偶公式。在此基础上，我们开发了Fiber Bundle Gating（FBG），这是一个将采样的RL数据组织为纤维丛的代数框架，并将比率门控分解为轨迹聚合上的基本级别门和每个token残差上的纤维级别门，在on-policy附近与真实的RL目标具有可证明的一阶一致性。从APC-Obj和FBG中，我们推导出Fibration Policy Optimization（简称FiberPO），这是一个具体的objective，其雅可比矩阵在轨迹上是块对角的，在on-policy时简化为identity，并提供更好的更新方向，从而提高token效率。该框架的组合性质超越了轨迹-token的情况：纤维化在代数上组合成纤维化门控层次结构（FGH），该结构将相同的门控机制扩展到任意层次深度，而无需新的原语，FiberPO-Domain证明了这一点，它是一个具有四个级别的实例化，在域、提示组、轨迹和token级别具有独立的信任域预算。总之，这些结果将信任域理论、组合代数结构和实际的多尺度稳定性控制统一到一个用于LLM策略优化的框架中。

🔬 方法详解

问题定义：现有强化学习方法在应用于大规模语言模型时，面临着多尺度稳定性控制的挑战。具体来说，传统的近端策略优化方法（如TRPO和PPO）主要关注单个尺度的优化，缺乏对token级别、轨迹级别以及更高层次（如领域、提示组）之间相互作用的有效建模和控制。这导致在训练过程中容易出现不稳定，影响训练效率和最终性能。

核心思路：论文的核心思路是将强化学习数据组织成纤维丛结构，并利用纤维丛门控机制（FBG）将策略优化分解为不同层次的门控。通过这种方式，可以实现对不同尺度信息的独立控制和优化，从而提高训练的稳定性和效率。核心在于将策略更新分解为基本层（轨迹级别）和纤维层（token级别）的更新，并分别进行门控。

技术框架：FiberPO框架主要包含以下几个关键模块：1) APC-Obj (Aggregational Policy Censoring Objective)：作为理论基础，提供了一个精确的无约束重构，将裁剪和信任域优化联系起来。2) FBG (Fiber Bundle Gating)：将RL数据组织成纤维丛，并分解比率门控。3) FiberPO：具体的优化目标，其雅可比矩阵在轨迹上是块对角的，简化了计算。4) FGH (Fibration Gating Hierarchy)：将FBG扩展到任意层次深度。整体流程是：首先使用APC-Obj进行策略优化，然后利用FBG对不同层次的策略更新进行门控，最后通过FiberPO目标函数进行训练。

关键创新：论文的关键创新在于提出了纤维丛门控机制（FBG）和纤维化门控层次结构（FGH），将策略优化分解为不同层次的门控，实现了多尺度稳定性控制。与现有方法相比，FiberPO能够更好地处理大规模语言模型中的复杂依赖关系，提高训练的稳定性和效率。此外，APC-Obj的提出，将裁剪和信任域优化联系起来，为理论分析提供了基础。

关键设计：FiberPO的关键设计包括：1) 使用APC-Obj作为优化目标，确保策略更新的稳定性。2) 设计FBG，将策略更新分解为基本层和纤维层，并分别进行门控。3) 构建FGH，将FBG扩展到任意层次深度，实现多尺度控制。4) FiberPO-Domain的实现，在域、提示组、轨迹和token级别设置独立的信任域预算。损失函数的设计基于TRPO，但通过纤维丛结构进行了改进，以适应多尺度优化。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

论文提出了FiberPO，通过纤维丛门控机制实现了多尺度策略优化，提高了token效率，并为不同层级结构设置了独立的信任域预算。实验结果（具体数值未知）表明，FiberPO能够提供更好的更新方向，从而提升模型性能。与现有方法相比，FiberPO在处理大规模语言模型时具有更好的稳定性和效率。

🎯 应用场景

该研究成果可应用于大规模语言模型的策略优化，例如对话系统、文本生成、代码生成等。通过提高训练的稳定性和效率，可以降低训练成本，并提升模型的性能和泛化能力。此外，该框架还可以扩展到其他具有层次结构的强化学习任务中，例如机器人控制、游戏AI等。

📄 摘要（原文）

Large language models are increasingly trained as heterogeneous systems spanning multiple domains, expert partitions, and agentic pipelines, yet prevalent proximal objectives operate at a single scale and lack a principled mechanism for coupling token-level, trajectory-level, and higher-level hierarchical stability control. To bridge this gap, we derive the Aggregational Policy Censoring Objective (APC-Obj), the first exact unconstrained reformulation of sample-based TV-TRPO, establishing that clipping-based surrogate design and trust-region optimization are dual formulations of the same problem. Building on this foundation, we develop Fiber Bundle Gating (FBG), an algebraic framework that organizes sampled RL data as a fiber bundle and decomposes ratio gating into a base-level gate on trajectory aggregates and a fiber-level gate on per-token residuals, with provable first-order agreement with the true RL objective near on-policy. From APC-Obj and FBG we derive Fibration Policy Optimization (or simply, FiberPO), a concrete objective whose Jacobian is block-diagonal over trajectories, reduces to identity at on-policy, and provides better update direction thus improving token efficiency. The compositional nature of the framework extends beyond the trajectory-token case: fibrations compose algebraically into a Fibration Gating Hierarchy (FGH) that scales the same gating mechanism to arbitrary hierarchical depth without new primitives, as demonstrated by FiberPO-Domain, a four-level instantiation with independent trust-region budgets at the domain, prompt group, trajectory, and token levels. Together, these results connect the trust-region theory, a compositional algebraic structure, and practical multi-scale stability control into a unified framework for LLM policy optimization.