Structure learning with Temporal Gaussian Mixture for model-based Reinforcement Learning

📄 arXiv: 2411.11511v1 📥 PDF

作者: Théophile Champion, Marek Grześ, Howard Bowman

分类: cs.LG, cs.AI, stat.ML

发布日期: 2024-11-18

💡 一句话要点

提出基于时序高斯混合模型的结构学习方法，用于模型驱动的强化学习。

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture)

关键词: 强化学习 模型驱动 结构学习 高斯混合模型 变分推断

📋 核心要点

  1. 模型驱动强化学习面临环境建模的挑战，现有方法难以有效学习环境的离散状态结构。
  2. 提出一种时序高斯混合模型，通过结构学习自动发现环境中的离散状态和转移概率。
  3. 实验证明，该模型能够学习迷宫环境的结构，并利用学习到的Q值成功导航到出口。

📝 摘要（中文）

本文提出了一种时序高斯混合模型，该模型由感知模型和转移模型组成，用于模型驱动的强化学习。感知模型利用变分高斯混合似然从连续观测中提取离散（潜在）状态。重要的是，该模型不断监控收集的数据，寻找新的高斯分量，即感知模型执行一种结构学习，因为它学习混合模型中高斯分量的数量。此外，转移模型利用Dirichlet-categorical共轭学习连续时间步之间的时序转移。感知模型和转移模型都能够忘记部分数据点，同时将它们提供的信息整合到先验中，从而确保快速的变分推断。最后，决策是通过一种Q-learning的变体执行的，该变体能够从状态信念中学习Q值。实验表明，该模型能够学习多个迷宫的结构：模型发现了状态的数量以及这些状态之间的转移概率。此外，利用其学习到的Q值，智能体能够成功地从起始位置导航到迷宫的出口。

🔬 方法详解

问题定义：在模型驱动的强化学习中，如何有效地从连续观测数据中学习环境的离散状态表示和状态转移模型是一个关键问题。现有方法通常需要预先定义状态数量或依赖复杂的神经网络结构，难以适应复杂环境，并且可能导致样本效率低下。

核心思路：本文的核心思路是利用时序高斯混合模型来学习环境的结构。通过变分高斯混合似然，模型能够从连续观测中提取离散状态，并自动调整高斯分量的数量，从而实现结构学习。同时，利用Dirichlet-categorical共轭来学习状态转移模型，并引入遗忘机制以加速变分推断。

技术框架：该模型包含两个主要模块：感知模型和转移模型。感知模型负责从连续观测中提取离散状态，采用变分高斯混合模型实现。转移模型负责学习状态之间的时序转移概率，采用Dirichlet-categorical共轭实现。整个学习过程采用变分推断，并引入遗忘机制以提高效率。决策过程采用一种Q-learning的变体，从状态信念中学习Q值。

关键创新：该方法最重要的创新点在于其结构学习能力。通过不断监控收集的数据，寻找新的高斯分量，模型能够自动发现环境中的离散状态，无需预先定义状态数量。此外，遗忘机制的引入能够加速变分推断，提高学习效率。

关键设计：感知模型采用变分高斯混合模型，其似然函数为高斯混合分布，先验分布为Dirichlet分布。转移模型采用Dirichlet-categorical共轭，能够有效地学习状态转移概率。遗忘机制通过在更新先验分布时引入一个遗忘因子来实现，该因子控制了新数据对先验分布的影响程度。Q-learning的变体使用状态信念作为输入，从而能够处理状态不确定性。

📊 实验亮点

实验结果表明，该模型能够成功学习多个迷宫环境的结构，包括状态的数量和状态之间的转移概率。此外，利用学习到的Q值，智能体能够成功地从起始位置导航到迷宫的出口，验证了该模型在复杂环境中的有效性。

🎯 应用场景

该研究成果可应用于机器人导航、游戏AI、自动驾驶等领域。通过学习环境的结构，智能体能够更好地理解环境，从而做出更有效的决策。该方法在样本效率和泛化能力方面具有优势，有望推动模型驱动强化学习在实际场景中的应用。

📄 摘要（原文）

Model-based reinforcement learning refers to a set of approaches capable of sample-efficient decision making, which create an explicit model of the environment. This model can subsequently be used for learning optimal policies. In this paper, we propose a temporal Gaussian Mixture Model composed of a perception model and a transition model. The perception model extracts discrete (latent) states from continuous observations using a variational Gaussian mixture likelihood. Importantly, our model constantly monitors the collected data searching for new Gaussian components, i.e., the perception model performs a form of structure learning (Smith et al., 2020; Friston et al., 2018; Neacsu et al., 2022) as it learns the number of Gaussian components in the mixture. Additionally, the transition model learns the temporal transition between consecutive time steps by taking advantage of the Dirichlet-categorical conjugacy. Both the perception and transition models are able to forget part of the data points, while integrating the information they provide within the prior, which ensure fast variational inference. Finally, decision making is performed with a variant of Q-learning which is able to learn Q-values from beliefs over states. Empirically, we have demonstrated the model's ability to learn the structure of several mazes: the model discovered the number of states and the transition probabilities between these states. Moreover, using its learned Q-values, the agent was able to successfully navigate from the starting position to the maze's exit.