DaCe-DT: Data-Centric Offline Multi-Task Reinforcement Learning via Adaptive Prompts and Trajectory Correction for Heterogeneous Tasks

📄 arXiv: 2610.11085v1 📥 PDF

作者: Xinfei Wang, Shanchen Pang, Chenhao Zhang, Shudong Wang, Wenhao Ji, Haiyuan Gui, Meng Han, Xiaojian Liao

分类: cs.LG

发布日期: 2026-10-08

备注: 25 pages,NeurIPS-2026

💡 一句话要点

提出DaCe-DT以解决离线多任务强化学习中的数据瓶颈问题

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture)

关键词: 离线强化学习 多任务学习 数据中心 提示优化 轨迹校正

📋 核心要点

  1. 现有的离线多任务强化学习方法主要关注算法优化，忽视了数据质量和分布对学习能力和泛化性能的影响。
  2. 本文提出DaCe-DT框架，通过长度门控提示掩蔽、检索增强提示构建和价值自适应回报校准等机制，提升了对异构任务的适应性。
  3. 实验结果显示，DaCe-DT在Meta-World上相较于现有方法有显著提升，尤其在不完美数据上表现出色。

📝 摘要（中文）

离线多任务强化学习（Offline MTRL）严重依赖于预先收集数据的质量和分布。然而，现有方法主要集中在算法优化上，较少关注数据层面的改进。本文从数据的角度揭示了限制Offline MTRL性能的三个关键瓶颈：在多样化任务复杂性下提示长度的无效利用、随机采样提示段的语义不相关性，以及由碎片化和不连续轨迹引起的误导性监督。为了解决这些挑战，我们提出了DaCe-DT，一个强大的离线MTRL框架，旨在对异构任务复杂性和数据质量不敏感，具有长度门控提示掩蔽（LGPM）、检索增强提示构建（RAPC）和价值自适应回报校准（VARC）。这些机制使DaCe-DT能够实现数据中心的提示适应和轨迹优化，从而在异构离线数据和任务中实现稳健的多任务泛化和稳定的策略学习。实验结果表明，DaCe-DT在Meta-World上始终优于最先进的方法，在最佳数据集上平均提升11.73%，在次优数据集上提升13.34%。

🔬 方法详解

问题定义：本文旨在解决离线多任务强化学习中的数据瓶颈问题，现有方法在数据利用和任务复杂性适应性方面存在不足，导致学习效果不佳。

核心思路：通过从数据层面出发，提出一系列机制来优化提示的使用和轨迹的处理，以提高模型的学习能力和泛化性能。

技术框架：DaCe-DT框架包括三个主要模块：长度门控提示掩蔽（LGPM）用于优化提示长度，检索增强提示构建（RAPC）用于生成更相关的提示，价值自适应回报校准（VARC）用于校正回报值。

关键创新：DaCe-DT的创新在于其数据中心的设计理念，特别是在处理异构任务复杂性和数据质量方面的鲁棒性，与现有方法相比，能够更有效地利用数据。

关键设计：在设计中，LGPM通过动态调整提示长度来适应任务复杂性，RAPC通过检索相关数据段来增强提示的语义相关性，而VARC则通过自适应机制来校正回报，确保学习过程的稳定性。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果表明，DaCe-DT在Meta-World上表现优异，平均提升11.73%在最佳数据集上，提升13.34%在次优数据集上，显示出其在不完美数据学习中的有效性和稳定性。

🎯 应用场景

该研究的潜在应用领域包括机器人控制、自动驾驶、智能制造等多任务学习场景。通过提升离线学习的稳定性和泛化能力，DaCe-DT能够在实际应用中更好地应对复杂和多变的环境，具有重要的实际价值和未来影响。

📄 摘要（原文）

Offline multi-task reinforcement learning (Offline MTRL) heavily depends on the quality and distribution of pre-collected data. However, existing methods mainly focus on algorithmic optimization, with less emphasis on data-level improvements to enhance learning ability and generalization performance. This paper, from a data perspective, reveals three key bottlenecks that limit Offline MTRL performance:(i) ineffective utilization of prompts length under diverse task complexities, and (ii) semantic irrelevance of randomly sampled prompt segments, (iii) misleading supervision induced by fragmented and discontinuous trajectories. To address these challenges, we propose DaCe-DT, a robust offline MTRL framework designed to be insensitive to heterogeneous task complexities and data quality, featuring length-gated prompt masking (LGPM), retrieval-augmented prompt construction (RAPC), and value-adaptive return calibration (VARC). Together, these mechanisms enable DaCe-DT to deliver data-centric prompt adaptation and trajectory refinement, resulting in robust multi-task generalization and stable policy learning amid heterogeneous offline data and tasks. Experimental results on Meta-World show that DaCe-DT consistently outperforms state-of-the-art methods, achieving an average improvement of 11.73% on optimal datasets and an improvement of 13.34% on suboptimal datasets, demonstrating its effectiveness in learning stably from imperfect data and improving overall multi-task performance.