KnitTrans: Coordinated Trajectory Transfer for Effective and Efficient LLM Reinforcement Learning

📄 arXiv: 2610.32389v1 📥 PDF

作者: Bangjun Xiao, Chiheng Lou, Xiaodong Ji, Xiangwei Deng, Yikai Zhao, Gang Huang, Hailin Zhang

分类: cs.DC, cs.LG

发布日期: 2026-10-23

💡 一句话要点

提出KnitTrans以解决大语言模型强化学习中的轨迹转移问题

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture) 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 轨迹转移 强化学习 大语言模型 数据访问优化 多模态编码

📋 核心要点

  1. 现有方法在轨迹转移过程中存在架构陈旧性和数据访问不匹配的问题，影响学习效率。
  2. KnitTrans通过约束保持的迷你批次接纳、按需数据访问和多模态编码去重来优化轨迹转移过程。
  3. 实验结果显示，KnitTrans在架构陈旧性上降低93%，并在多模态任务中实现了5.8倍的速度提升。

📝 摘要（中文）

轨迹从回滚到训练的转移影响着大语言模型强化学习的学习质量和系统效率。强制批量训练要求可能延迟已完成轨迹的接纳，导致更高的架构陈旧性。KnitTrans通过三种设计来协调回滚到训练的路径。首先，约束保持的迷你批次接纳允许在检查剩余配额的同时灵活组成早期迷你批次。其次，按需轨迹数据访问将存储单元与消费者分配匹配，并重叠微批数据准备与计算。最后，多模态编码去重支持在迷你批次间重用，同时保留所有基础微批次的梯度贡献。实验表明，KnitTrans将架构陈旧性降低了93%，在多模态工作负载上，传输延迟减少两个数量级，传输加训练的速度提升高达5.8倍。

🔬 方法详解

问题定义：论文旨在解决大语言模型强化学习中轨迹转移的效率和学习质量问题。现有方法在轨迹接纳和数据访问上存在延迟和不匹配，导致架构陈旧性增加。

核心思路：KnitTrans的核心思路是通过灵活的迷你批次接纳和优化的数据访问策略，减少轨迹转移过程中的延迟和冗余，提高系统的整体效率。

技术框架：KnitTrans的整体架构包括三个主要模块：约束保持的迷你批次接纳、按需轨迹数据访问和多模态编码去重。每个模块协同工作，以优化轨迹的转移和训练过程。

关键创新：KnitTrans的关键创新在于其灵活的迷你批次接纳和按需数据访问策略，这与传统方法的固定批次接纳和顺序数据访问形成鲜明对比，显著降低了架构陈旧性。

关键设计：在设计中，KnitTrans采用了动态的迷你批次组成策略，确保在接纳新轨迹时仍能满足剩余配额。同时，数据访问策略通过匹配存储单元与消费者需求，减少了不必要的数据移动和等待时间。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

KnitTrans在实验中表现出显著的性能提升，架构陈旧性降低93%，并在多模态工作负载下，传输延迟减少两个数量级，传输加训练的速度提升高达5.8倍，相较于基线方法表现出色。

🎯 应用场景

KnitTrans的研究成果在大语言模型的强化学习中具有广泛的应用潜力，特别是在需要高效数据处理和快速反馈的场景，如自然语言处理、对话系统和智能助手等领域。其优化的轨迹转移机制可以显著提升模型的训练效率和响应速度，推动相关技术的进步。

📄 摘要（原文）

Trajectory transfer from rollout to training affects both learning quality and system efficiency in large language model reinforcement learning (RL). Enforcing batch-wide training requirements can delay the admission of completed trajectories, resulting in higher architectural staleness: the additional parameter-version gap from disaggregated pipelining relative to colocated execution. Beyond admission, misalignment between data access and training consumption causes redundant movement and unnecessary waiting when transferring large trajectory payloads. We present KnitTrans, a system that coordinates the rollout-to-training path through three designs. First, constraint-preserving mini-batch admission allows flexibility in early mini-batch composition, while checking that enough capacity remains to satisfy the remaining quotas. Second, on-demand trajectory data access matches storage units to consumer assignments and overlaps micro-batch data preparation with computation. Third, multimodal encoding deduplication supports reuse across a mini-batch while preserving gradient contributions from all backbone micro-batches. Experiments show up to 93% lower architectural staleness than with train-batch admission, narrowing the learning-quality gap between disaggregated execution and colocated execution. On multimodal workloads, KnitTrans reduces transfer latency by two orders of magnitude and achieves a speedup of up to 5.8 times in transfer plus training over the baseline.