Mosaic: Multi-Session Agentic Reinforcement Learning

📄 arXiv: 2610.22174v1 📥 PDF

作者: Yilong Xu, Minrui Xu, Xinyu Zhou, Xiang Long, Haochen Tan, Zhijiang Guo

分类: cs.CL, cs.AI, cs.LG

发布日期: 2026-10-15

💡 一句话要点

提出Mosaic以解决多会话强化学习中的轨迹不匹配问题

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture)

关键词: 多会话强化学习 代理强化学习 优势估计 层次优化 会话分配 上下文压缩 子代理分叉

📋 核心要点

  1. 现有的代理强化学习方法通常假设单一会话轨迹，无法有效处理多会话轨迹带来的不匹配问题。
  2. 本文提出Mosaic方法，通过无评论员的层次优化，结合会话使用信号改进优势估计，解决多会话轨迹中的优势分配问题。
  3. 实验结果显示，Mosaic在BrowseComp数据集上优于传统广播方法，且在会话使用上表现出更高的效率和效用。

📝 摘要（中文）

现有的代理强化学习方法通常假设单一会话轨迹，导致在多会话场景中存在不匹配问题。为此，本文提出了多会话代理强化学习的概念，并介绍了Mosaic方法，该方法通过无评论员的层次优化来处理轨迹中的会话使用信号，从而改进优势估计。实验结果表明，Mosaic在上下文压缩和子代理分叉场景中均优于传统的广播方法，同时平均使用的会话数量更少，显示出在会话效用和分配方面的显著提升。

🔬 方法详解

问题定义：本文解决的是现有代理强化学习方法在多会话轨迹中存在的优势估计不准确问题，尤其是在会话分配和贡献区分方面的不足。

核心思路：Mosaic方法通过引入会话使用信号来改进优势估计，采用无评论员的层次优化策略，以更好地反映各会话的边际贡献。

技术框架：Mosaic的整体架构包括两个主要层次：轨迹层和会话层。在轨迹层，整合会话使用信号进行优势估计；在会话层，根据边际贡献调整每个会话的优势。

关键创新：Mosaic的最大创新在于其无评论员的层次优化方法，使得优势估计更具针对性，能够有效区分不同会话的贡献，克服了传统方法的局限性。

关键设计：在设计上，Mosaic采用了特定的损失函数来优化会话的优势估计，并通过动态调整会话的分配策略来提高整体效用。

🖼️ 关键图片

fig_0
fig_1

📊 实验亮点

在BrowseComp数据集上的实验结果表明，Mosaic方法在上下文压缩和子代理分叉场景中均显著优于传统的广播方法，平均会话使用数量减少，同时在会话效用和分配方面实现了显著提升，展示了其在多会话代理强化学习中的有效性。

🎯 应用场景

Mosaic方法在多会话代理强化学习中具有广泛的应用潜力，尤其适用于需要处理复杂交互和多样化环境的任务，如在线推荐系统、游戏AI和智能机器人等领域。其创新的优势估计和会话分配策略有望推动这些领域的进一步发展。

📄 摘要（原文）

Most existing agentic reinforcement learning methods assume single-session trajectories, where interaction proceeds within one continuously accumulated context. However, agentic techniques such as context compaction and subagent forking may produce trajectories spanning multiple sessions, creating a mismatch between the single-session training assumption and inference-time execution. Therefore, we introduce Multi-Session Agentic Reinforcement Learning, a more general setting that supports an arbitrary number of sessions within a trajectory. Under this setting, a widely adopted method is to broadcast trajectory-level advantages to all sessions, but this does not distinguish contributions from various sessions or guide session allocation within trajectories. To address this issue, we propose Mosaic, a multi-session agentic RL method with critic-free hierarchical optimization. At the trajectory level, it incorporates session-usage signals into advantage estimation. At the session level, it shapes each session's advantage according to the estimated marginal contribution. Experiments on BrowseComp with Qwen3.5-4B show that Mosaic outperforms broadcasting in both context compaction and subagent forking scenarios while using fewer sessions on average. Further analyses show that our method achieves improvements in session utility and allocation, which we suggested is a promising target for future advances in multi-session agentic RL.