SOLAR-RL: Semi-Online Long-horizon Assignment Reinforcement Learning

📄 arXiv: 2604.22558v1 📥 PDF

作者: Jichao Wang, Liuyang Bian, Yufeng Zhou, Han Xiao, Yue Pan, Guozhi Wang, Hao Wang, Zhaoxiong Wang, Yafei Wen, Xiaoxin Chen, Shuai Ren, Lingfang Zeng

分类: cs.LG, cs.AI

发布日期: 2026-04-24

备注: 14 pages, 11 figures. Accepted to Findings of the Association for Computational Linguistics: ACL 2026

💡 一句话要点

提出SOLAR-RL以解决长时间任务中的强化学习效率问题

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture) 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 强化学习 长时间任务 图形用户界面 多模态学习 样本效率 自主导航

📋 核心要点

  1. 现有的强化学习方法在处理长时间任务时，往往依赖静态数据，无法有效捕捉全局轨迹信息，导致任务完成率低。
  2. SOLAR-RL通过将全局轨迹信息整合到离线学习中，重构回放候选并利用有效性信号进行奖励分配，从而提高学习效率。
  3. 实验结果显示，SOLAR-RL在长时间任务完成率上显著提升，相较于基线方法，表现出更高的鲁棒性和样本效率。

📝 摘要（中文）

随着多模态大型语言模型（MLLMs）的成熟，图形用户界面（GUI）代理的交互方式正从静态转向复杂导航。尽管强化学习（RL）在动态GUI任务中展现出良好的训练潜力，但其有效应用面临挑战。标准的离线RL依赖静态数据，忽视了任务完成和执行质量等全局轨迹语义；而在线RL虽然能够捕捉长期动态，但交互成本高且环境不稳定。为此，本文提出了SOLAR-RL（半在线长时间分配强化学习），通过将全局轨迹洞察直接整合到离线学习过程中，重构多样的回放候选，利用每步有效性信号检测首次失败点，并回溯性地分配与目标对齐的密集步级奖励，从而有效模拟在线反馈，降低交互成本。实验表明，SOLAR-RL在长时间任务完成率和鲁棒性上显著优于强基线，提供了一种样本高效的自主GUI导航解决方案。

🔬 方法详解

问题定义：本文旨在解决在长时间任务中，现有强化学习方法对全局轨迹语义的忽视及其高交互成本的问题。标准的离线RL无法捕捉任务完成和执行质量，而在线RL则面临环境不稳定的挑战。

核心思路：SOLAR-RL的核心思路是将全局轨迹洞察直接融入离线学习过程中，通过重构回放候选和回溯性奖励分配来模拟在线反馈，降低交互成本。

技术框架：SOLAR-RL的整体架构包括数据重构模块、有效性信号检测模块和奖励分配模块。首先，从静态数据中重构多样的回放候选；然后，利用每步有效性信号检测首次失败点；最后，进行密集步级奖励的回溯性分配。

关键创新：最重要的技术创新在于通过重构回放候选和回溯性奖励分配，成功将在线反馈的优势引入离线学习，显著提高了学习效率和任务完成率。

关键设计：在参数设置上，采用了与目标对齐的奖励分配策略，损失函数设计上注重轨迹级执行质量的反映，网络结构上则结合了多模态信息处理能力，以适应复杂的GUI任务。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

在实验中，SOLAR-RL在长时间任务完成率上相比于强基线方法提升了显著的百分比，具体数据表明其在复杂导航任务中的鲁棒性和样本效率均优于现有技术，展现出良好的应用潜力。

🎯 应用场景

SOLAR-RL的研究成果可广泛应用于自动化图形用户界面导航、智能助手和机器人控制等领域。通过提高长时间任务的完成率和鲁棒性，该方法能够显著提升用户体验和系统效率，具有重要的实际价值和未来影响。

📄 摘要（原文）

As Multimodal Large Language Models (MLLMs) mature, GUI agents are evolving from static interactions to complex navigation. While Reinforcement Learning (RL) has emerged as a promising paradigm for training MLLM agents on dynamic GUI tasks, its effective application faces a dilemma. Standard Offline RL often relies on static step-level data, neglecting global trajectory semantics such as task completion and execution quality. Conversely, Online RL captures the long-term dynamics but suffers from high interaction costs and potential environmental instability. To bridge this gap, we propose SOLAR-RL (Semi-Online Long-horizon Assignment Reinforcement Learning). Instead of relying solely on expensive online interactions, our framework integrates global trajectory insights directly into the offline learning process. Specifically, we reconstruct diverse rollout candidates from static data, detect the first failure point using per-step validity signals, and retroactively assign dense step-level rewards with target-aligned shaping to reflect trajectory-level execution quality, effectively simulating online feedback without interaction costs. Extensive experiments demonstrate that SOLAR-RL significantly improves long-horizon task completion rates and robustness compared to strong baselines, offering a sample-efficient solution for autonomous GUI navigation.