An Invitation to Deep Reinforcement Learning

📄 arXiv: 2312.08365v3 📥 PDF

作者: Bernhard Jaeger, Andreas Geiger

分类: cs.LG, cs.AI

发布日期: 2023-12-13 (更新: 2025-05-09)

备注: Published at Foundations and Trends in Optimization

期刊: Foundations and Trends in Optimization, 2024, Vol. 7: No. 1, pp 1-80

DOI: 10.1561/2400000049

💡 一句话要点

深度强化学习入门教程：面向非可微目标和时序问题的通用优化框架

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture) 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 深度强化学习 不可微优化 近端策略优化 监督学习 策略梯度

📋 核心要点

  1. 传统机器学习在处理不可微目标函数时面临挑战，通常需要使用可微替代损失，导致优化结果次优。
  2. 本教程将强化学习视为监督学习的推广，首先应用于不可微目标，然后扩展到时序问题，降低学习门槛。
  3. 通过简化理论介绍，并聚焦于实际应用，使读者能够快速理解并应用先进的深度强化学习算法，如PPO。

📝 摘要（中文）

在过去十年中，训练深度神经网络以最大化目标函数已成为机器学习成功的标准方法。当目标函数可微时，可以使用监督学习来优化这些网络。然而，对于许多有趣的问题，情况并非如此。诸如交并比（IoU）、BLEU评分或奖励等常见目标无法通过监督学习进行优化。一种常见的解决方法是定义可微的替代损失函数，但这会导致相对于实际目标的次优解。近年来，强化学习（RL）已成为优化深度神经网络以最大化不可微目标的一种有前途的替代方案。应用包括通过人类反馈对齐大型语言模型、代码生成、目标检测或控制问题。这使得RL技术与更广泛的机器学习受众相关。然而，由于方法范围广泛以及通常非常理论化的呈现方式，该主题需要花费大量时间才能掌握。在本介绍中，我们采用了一种不同于经典强化学习教科书的方法。我们没有关注表格问题，而是将强化学习作为监督学习的推广来介绍，我们首先将其应用于不可微目标，然后再应用于时序问题。假设读者仅具备监督学习的基本知识，阅读本教程后将能够理解最先进的深度RL算法，如近端策略优化（PPO）。

🔬 方法详解

问题定义：论文旨在解决深度学习中优化不可微目标函数的问题。传统的监督学习方法依赖于可微的损失函数，当目标函数（如IoU、BLEU等）不可微时，这些方法无法直接应用，通常需要设计可微的替代损失函数，但这会导致优化结果偏离真实目标。

核心思路：论文的核心思路是将强化学习视为一种广义的监督学习方法，它可以直接优化不可微的目标函数。通过将优化过程建模为一个决策过程，智能体（通常是一个神经网络）通过与环境交互，学习最大化累积奖励，而奖励函数可以直接对应于不可微的目标函数。

技术框架：该教程首先回顾了监督学习的基本概念，然后引入强化学习作为其扩展。它没有从传统的表格型问题入手，而是直接关注深度强化学习算法，特别是近端策略优化（PPO）。整体流程包括：定义环境和奖励函数（对应于不可微目标），训练深度神经网络作为策略，使用PPO等算法优化策略，使其在环境中获得更高的累积奖励。

关键创新：该教程的关键创新在于其教学方法，它将强化学习与读者熟悉的监督学习联系起来，降低了学习难度。此外，它直接关注深度强化学习算法，避免了对传统强化学习理论的过度强调，使读者能够更快地掌握实际应用。

关键设计：教程中没有涉及具体的网络结构或损失函数设计，而是侧重于介绍PPO算法的原理和应用。PPO算法的关键在于使用信任区域优化，通过限制策略更新的幅度，保证训练的稳定性。具体的参数设置和网络结构需要根据具体的应用场景进行调整。

📊 实验亮点

本教程重点在于提供一个易于理解的深度强化学习入门途径，使读者能够快速掌握PPO等先进算法，并将其应用于实际问题中。虽然没有提供具体的实验结果，但通过简化理论和聚焦应用，降低了学习门槛，使得更多研究者能够利用强化学习解决复杂的优化问题。

🎯 应用场景

该研究成果可广泛应用于需要优化不可微目标函数的机器学习任务中，例如自然语言处理中的机器翻译（优化BLEU评分）、计算机视觉中的目标检测（优化IoU）以及机器人控制等领域。通过直接优化真实目标，可以提高模型的性能和泛化能力，具有重要的实际应用价值。

📄 摘要（原文）

Training a deep neural network to maximize a target objective has become the standard recipe for successful machine learning over the last decade. These networks can be optimized with supervised learning, if the target objective is differentiable. For many interesting problems, this is however not the case. Common objectives like intersection over union (IoU), bilingual evaluation understudy (BLEU) score or rewards cannot be optimized with supervised learning. A common workaround is to define differentiable surrogate losses, leading to suboptimal solutions with respect to the actual objective. Reinforcement learning (RL) has emerged as a promising alternative for optimizing deep neural networks to maximize non-differentiable objectives in recent years. Examples include aligning large language models via human feedback, code generation, object detection or control problems. This makes RL techniques relevant to the larger machine learning audience. The subject is, however, time intensive to approach due to the large range of methods, as well as the often very theoretical presentation. In this introduction, we take an alternative approach, different from classic reinforcement learning textbooks. Rather than focusing on tabular problems, we introduce reinforcement learning as a generalization of supervised learning, which we first apply to non-differentiable objectives and later to temporal problems. Assuming only basic knowledge of supervised learning, the reader will be able to understand state-of-the-art deep RL algorithms like proximal policy optimization (PPO) after reading this tutorial.