The Power of Active Multi-Task Learning in Reinforcement Learning from Human Feedback
作者: Ruitao Chen, Liwei Wang
分类: cs.LG
发布日期: 2024-05-18 (更新: 2025-03-05)
💡 一句话要点
提出主动多任务学习框架，提升RLHF中人类反馈利用率
🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture) 支柱九：具身大模型 (Embodied Foundation Models)
关键词: 强化学习 人类反馈 多任务学习 主动学习 表示学习
📋 核心要点
- RLHF依赖大量人工标注数据，成本高昂，如何提升数据利用率是关键挑战。
- 论文提出主动多任务学习框架，通过评估任务相关性，优化源任务的采样策略。
- 理论分析表明，该方法能显著降低源任务的样本复杂度，提升目标任务学习效率。
📝 摘要（中文）
本文研究了基于人类反馈的强化学习（RLHF）中数据效率问题，尤其关注如何减少对大量人工标注数据的依赖。针对此问题，本文将RLHF建模为上下文Dueling Bandit问题，并假设存在一个通用的线性表示。研究表明，通过考虑任务相关性，并为不同相关性的源任务分配不同的样本量，可以降低多任务RLHF中源任务的样本复杂度。进一步，本文提出了一种算法，通过少量额外数据估计任务相关性，并学习策略。理论证明，与均匀采样相比，该方法能显著降低源任务的样本复杂度，并且由于表示学习，目标任务的样本复杂度仅与潜在空间的维度呈线性关系。
🔬 方法详解
问题定义：论文旨在解决RLHF中对大量人工标注数据的依赖问题。现有的RLHF方法通常需要大量的源任务数据来学习一个通用的表示，而这些源任务可能与目标任务的相关性各不相同，均匀采样导致效率低下。
核心思路：论文的核心思路是利用主动学习的思想，通过少量额外数据估计源任务与目标任务的相关性，并根据相关性调整源任务的采样策略。更相关的任务分配更多的样本，不相关的任务分配更少的样本，从而提高整体的学习效率。
技术框架：论文将RLHF建模为上下文Dueling Bandit问题，假设存在一个共享的线性表示。整体框架包含两个主要阶段：1) 任务相关性估计阶段：利用少量额外数据估计每个源任务与目标任务的相关性。2) 策略学习阶段：根据估计的相关性，调整源任务的采样策略，并利用多任务学习方法学习一个通用的表示，最终用于目标任务的策略学习。
关键创新：论文的关键创新在于提出了主动多任务学习的框架，将任务相关性纳入考虑，并设计了一种有效的任务相关性估计方法。与传统的均匀采样方法相比，该方法能够更有效地利用源任务数据，降低样本复杂度。
关键设计：论文的关键设计包括：1) 使用上下文Dueling Bandit模型来描述RLHF过程。2) 假设存在一个共享的线性表示，简化了问题。3) 提出了一种基于少量额外数据的任务相关性估计方法。4) 基于估计的相关性，设计了一种非均匀的采样策略，用于选择源任务数据。
🖼️ 关键图片
📊 实验亮点
论文通过理论分析证明，与均匀采样相比，所提出的主动多任务学习方法能够显著降低源任务的样本复杂度，并且目标任务的样本复杂度仅与潜在空间的维度呈线性关系。具体的性能提升幅度取决于源任务与目标任务的相关性分布，相关性越高，提升越明显。
🎯 应用场景
该研究成果可应用于各种需要从人类反馈中学习的强化学习任务，尤其是在数据标注成本高昂的场景下，例如机器人控制、对话系统、推荐系统等。通过更有效地利用有限的人工标注数据，可以降低开发成本，加速模型迭代，并提升用户体验。
📄 摘要（原文）
Reinforcement learning from human feedback (RLHF) has contributed to performance improvements in large language models. To tackle its reliance on substantial amounts of human-labeled data, a successful approach is multi-task representation learning, which involves learning a high-quality, low-dimensional representation from a wide range of source tasks. In this paper, we formulate RLHF as the contextual dueling bandit problem and assume a common linear representation. We demonstrate that the sample complexity of source tasks in multi-task RLHF can be reduced by considering task relevance and allocating different sample sizes to source tasks with varying task relevance. We further propose an algorithm to estimate task relevance by a small number of additional data and then learn a policy. We prove that to achieve $\varepsilon-$optimal, the sample complexity of the source tasks can be significantly reduced compared to uniform sampling. Additionally, the sample complexity of the target task is only linear in the dimension of the latent space, thanks to representation learning.