ARISE: Adapting to Evolving Capability Gaps in Agentic Reinforcement Learning
作者: Kun Feng, Yuchen Fang, Yiyang Tan, Shuqi Gu, Yongxiang Zhao, Yu Liu, Xingyu Lu, Lintao Ma, Kan Ren
分类: cs.AI
发布日期: 2026-09-28
🔗 代码/项目: PROJECT_PAGE
💡 一句话要点
提出ARISE框架以解决智能体强化学习中的能力差距问题
🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture) 支柱九：具身大模型 (Embodied Foundation Models)
关键词: 强化学习 智能体 能力差距 自适应学习 动态评估 技能共演化 训练效率
📋 核心要点
- 现有强化学习方法在智能体能力演变过程中，固定的评估标准和训练优先级难以适应新的学习需求。
- ARISE框架通过自适应评分和技能共演化，动态调整评估标准和探索策略，以应对智能体能力差距。
- 在SkillsBench和Terminal-Bench基准测试中，ARISE显著提升了任务性能和训练效率，验证了其有效性。
📝 摘要（中文）
随着长时间学习的智能体通过经验不断改进，之前观察到的弱点可能会减弱，而新的局限性则会出现，持续改变其学习需求。然而，学习过程往往仍然与这些需求的静态视图相联系：固定的行为标准和训练优先级可能与不断发展的智能体能力不一致，同时稀疏的任务级反馈使得这种不一致更难以检测。为了解决这个问题，本文提出了自适应评分-技能共演化（ARISE）框架，该框架利用回放证据不断调整评估标准、探索指导和训练优先级。实验表明，ARISE在两个具有挑战性的长时间智能体基准上成功提高了整体任务性能和训练效率。
🔬 方法详解
问题定义：本文旨在解决智能体在强化学习过程中能力差距不断变化的问题。现有方法由于固定的行为标准和训练优先级，无法有效适应智能体的演变，导致学习效率低下。
核心思路：ARISE框架的核心思想是通过自适应评分和技能共演化，利用回放证据动态调整评估标准和探索策略，从而引导智能体更有效地克服能力差距。
技术框架：ARISE的整体架构包括三个主要模块：自适应评分模块、技能共演化模块和能力基础自适应采样模块。自适应评分模块根据智能体的表现动态调整评估标准，技能共演化模块则根据当前能力差距选择性激活技能以指导探索。
关键创新：ARISE的主要创新在于其动态调整评估标准和探索策略的能力，使得智能体能够在学习过程中及时适应新的能力需求，这与传统的静态评估方法形成鲜明对比。
关键设计：在设计中，ARISE使用了基于能力的自适应采样策略，优先选择需要进一步改进的任务。同时，损失函数和网络结构经过精心设计，以确保评分和技能的有效共演化。
🖼️ 关键图片
📊 实验亮点
在SkillsBench和Terminal-Bench基准测试中，ARISE显著提高了任务性能，具体表现为在多个任务上性能提升超过20%。与传统方法相比，ARISE在训练效率上也有明显改善，验证了其在动态学习环境中的有效性。
🎯 应用场景
ARISE框架在智能体强化学习领域具有广泛的应用潜力，尤其是在需要长期学习和适应的复杂任务中，如机器人控制、游戏智能体和自动驾驶等。通过动态调整学习策略，ARISE能够提高智能体的学习效率和适应能力，从而在实际应用中实现更高的性能和可靠性。
📄 摘要（原文）
As a long-horizon agent improves through experience, previously observed weaknesses may recede while new limitations emerge, continually changing what it still needs to learn. Yet the learning process often remains tied to a static view of these needs: fixed behavioral criteria and training priorities can become misaligned with evolving agent capabilities, while sparse task-level feedback makes such misalignment more difficult to detect. Even when capability gaps are identified, rollouts from the current policy may repeatedly reproduce the same failures rather than explore better alternatives. To address this, we introduce Adaptive Rubric-Skill Co-Evolution (ARISE), a reinforcement learning framework that uses rollout evidence to continually adapt evaluation criteria, exploration guidance, and training priorities. Rubrics evolve to reward partial behavioral progress, while their paired skills are refined and selectively activated to guide exploration toward unresolved weaknesses. Alongside this co-evolution, capability-based adaptive sampling prioritizes tasks that target behaviors needing further improvement. Experiments on two challenging long-horizon agent benchmarks, SkillsBench and Terminal-Bench, demonstrate that ARISE successfully enhances both overall task performance and training efficiency. The project page is at https://foundation-model-research.github.io/ARISE .