Offline Meta-Reinforcement Learning with Flow-Based Task Inference and Adaptive Correction of Feature Overgeneralization

📄 arXiv: 2601.07164v1 📥 PDF

作者: Min Wang, Xin Li, Mingzhong Wang, Hasnaa Bennis

分类: cs.LG

发布日期: 2026-01-12

💡 一句话要点

提出FLORA，通过流模型任务推断和自适应特征校正解决离线元强化学习中的泛化问题

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture)

关键词: 离线元强化学习 特征过度泛化 流模型 任务推断 自适应特征校正 分布外检测 强化学习

📋 核心要点

  1. 离线元强化学习面临分布外动作导致的推断误差，现有方法难以有效应对复杂任务中的泛化问题。
  2. FLORA通过建模特征分布识别OOD样本，并利用回报反馈自适应调整特征，从而缓解特征过度泛化问题。
  3. 实验结果表明，FLORA在多个环境中实现了快速适应和元策略改进，优于现有基线方法。

📝 摘要（中文）

离线元强化学习(OMRL)结合了离线强化学习从多样化数据集中学习的优势和元强化学习适应新任务的能力，有望使RL智能体安全高效地获取知识。然而，OMRL仍然受到分布外(OOD)动作导致的推断误差的影响，这受到广泛的任务分布和元RL设置中马尔可夫决策过程(MDP)模糊性的影响。现有研究表明，$Q$网络的泛化能力会影响离线RL中的推断误差。本文通过将$Q$值分解为特征和权重分量来研究这种关系，观察到虽然分解在高质量数据的情况下增强了适应性和收敛性，但在复杂任务中通常会导致策略退化或崩溃。我们观察到，当特征遇到OOD样本时，分解后的$Q$值会引入较大的估计偏差，我们称之为“特征过度泛化”。为了解决这个问题，我们提出了FLORA，它通过对特征分布进行建模并估计其不确定性来识别OOD样本。FLORA集成了一种回报反馈机制，以自适应地调整特征分量。此外，为了学习精确的任务表示，FLORA使用一系列可逆变换显式地对复杂的任务分布进行建模。理论和实验表明，与各种环境中的基线相比，FLORA实现了快速适应和元策略改进。

🔬 方法详解

问题定义：离线元强化学习(OMRL)旨在利用离线数据集学习能够快速适应新任务的策略。然而，由于离线数据分布的局限性，智能体容易遇到分布外(OOD)的动作，导致Q值估计不准确，产生推断误差。尤其是在复杂任务中，任务分布的广泛性和MDP的模糊性加剧了这一问题。现有方法在处理复杂任务时，容易出现策略退化或崩溃，无法有效泛化到新任务。

核心思路：FLORA的核心思路是解决离线元强化学习中的“特征过度泛化”问题。当Q值被分解为特征和权重时，特征在遇到OOD样本时会产生较大的估计偏差。FLORA通过识别OOD样本并自适应地调整特征分量来缓解这一偏差，从而提高Q值估计的准确性，并最终提升策略的泛化能力。

技术框架：FLORA的整体框架包含以下几个主要模块：1) 特征提取器：用于提取状态和动作的特征表示。2) 流模型任务推断：使用一系列可逆变换对复杂的任务分布进行建模，学习精确的任务表示。3) OOD样本识别：通过建模特征分布并估计其不确定性来识别OOD样本。4) 自适应特征校正：集成回报反馈机制，根据OOD样本的识别结果自适应地调整特征分量。5) Q值估计器：利用校正后的特征和权重来估计Q值。

关键创新：FLORA的关键创新在于：1) 提出了“特征过度泛化”的概念，并分析了其对离线元强化学习的影响。2) 设计了一种基于流模型的任务推断方法，能够更精确地建模复杂的任务分布。3) 提出了一种自适应特征校正机制，能够根据OOD样本的识别结果动态调整特征分量，从而缓解特征过度泛化问题。

关键设计：FLORA的关键设计包括：1) 使用RealNVP等流模型来建模任务分布，并通过最大化对数似然来训练流模型。2) 使用高斯混合模型(GMM)来建模特征分布，并利用GMM的不确定性来识别OOD样本。3) 使用回报反馈机制，根据Q值估计的误差来调整特征分量，具体而言，可以通过最小化Q值估计的均方误差来更新特征提取器。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果表明，FLORA在多个离线元强化学习环境中优于现有基线方法。例如，在Meta-World环境中，FLORA实现了显著的性能提升，在任务适应速度和最终性能方面均表现出色。此外，消融实验验证了流模型任务推断和自适应特征校正机制的有效性。

🎯 应用场景

FLORA可应用于各种需要安全高效知识获取的离线元强化学习场景，例如机器人控制、自动驾驶、推荐系统和医疗诊断等。通过利用离线数据进行预训练，并快速适应新任务，FLORA能够显著降低试错成本，提高智能体的学习效率和安全性，具有广泛的应用前景。

📄 摘要（原文）

Offline meta-reinforcement learning (OMRL) combines the strengths of learning from diverse datasets in offline RL with the adaptability to new tasks of meta-RL, promising safe and efficient knowledge acquisition by RL agents. However, OMRL still suffers extrapolation errors due to out-of-distribution (OOD) actions, compromised by broad task distributions and Markov Decision Process (MDP) ambiguity in meta-RL setups. Existing research indicates that the generalization of the $Q$ network affects the extrapolation error in offline RL. This paper investigates this relationship by decomposing the $Q$ value into feature and weight components, observing that while decomposition enhances adaptability and convergence in the case of high-quality data, it often leads to policy degeneration or collapse in complex tasks. We observe that decomposed $Q$ values introduce a large estimation bias when the feature encounters OOD samples, a phenomenon we term ''feature overgeneralization''. To address this issue, we propose FLORA, which identifies OOD samples by modeling feature distributions and estimating their uncertainties. FLORA integrates a return feedback mechanism to adaptively adjust feature components. Furthermore, to learn precise task representations, FLORA explicitly models the complex task distribution using a chain of invertible transformations. We theoretically and empirically demonstrate that FLORA achieves rapid adaptation and meta-policy improvement compared to baselines across various environments.