MODULI: Unlocking Preference Generalization via Diffusion Models for Offline Multi-Objective Reinforcement Learning

📄 arXiv: 2408.15501v2 📥 PDF

作者: Yifu Yuan, Zhenrui Zheng, Zibin Dong, Jianye Hao

分类: cs.LG, cs.AI

发布日期: 2024-08-28 (更新: 2025-05-27)

备注: Accepted by ICML2025, code link: https://github.com/pickxiguapi/MODULI

💡 一句话要点

MODULI：利用扩散模型解锁离线多目标强化学习中的偏好泛化

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture)

关键词: 多目标强化学习 离线强化学习 扩散模型 偏好泛化 分布外泛化

📋 核心要点

  1. 现有离线MORL方法在处理真实世界数据集时，由于数据分布的保守性和狭窄性，难以泛化到分布外的偏好。
  2. MODULI利用偏好条件扩散模型作为规划器，通过生成与偏好对齐的轨迹来解决OOD偏好泛化问题。
  3. 实验结果表明，MODULI在D4MORL基准测试中优于现有离线MORL算法，展现了对OOD偏好的优秀泛化能力。

📝 摘要（中文）

多目标强化学习(MORL)旨在开发能够同时优化多个冲突目标的策略，但这需要大量的在线交互。离线MORL通过在预先收集的数据集上进行训练，推广到部署时的任何偏好，提供了一个有希望的解决方案。然而，现实世界的离线数据集通常是保守且分布狭窄的，未能全面覆盖偏好，导致出现分布外(OOD)偏好区域。现有的离线MORL算法对OOD偏好的泛化能力较差，导致策略与偏好不一致。利用扩散模型出色的表达和泛化能力，我们提出了MODULI（具有滑动引导的多目标扩散规划器），它采用偏好条件扩散模型作为规划器，生成与各种偏好对齐的轨迹，并推导出用于决策的动作。为了实现精确生成，MODULI引入了在不同偏好下细化指导的两种回报归一化方法。为了进一步增强对OOD偏好的泛化，MODULI提出了一种新颖的滑动引导机制，该机制涉及训练一个额外的滑块适配器来捕获偏好变化的方向。结合滑块，它可以从分布内(ID)偏好过渡到生成OOD偏好，修补和扩展不完整的帕累托前沿。在D4MORL基准上的大量实验表明，我们的算法优于最先进的离线MORL基线，表现出对OOD偏好的出色泛化能力。

🔬 方法详解

问题定义：论文旨在解决离线多目标强化学习中，现有算法难以泛化到训练数据集中未充分覆盖的分布外（OOD）偏好的问题。现有方法在面对OOD偏好时，策略表现不佳，无法有效优化多个冲突目标，导致策略与用户偏好不一致。

核心思路：论文的核心思路是利用扩散模型强大的生成能力和泛化能力，将扩散模型作为规划器，生成与各种偏好对齐的轨迹。通过偏好条件扩散模型，MODULI能够学习到偏好与轨迹之间的映射关系，从而在面对OOD偏好时，也能生成合理的轨迹，指导策略的优化。

技术框架：MODULI的核心框架包括以下几个主要模块：1) 偏好条件扩散模型：用于生成与特定偏好相对应的轨迹。2) 回报归一化方法：用于在不同偏好下对回报进行归一化，提高扩散模型生成的准确性。3) 滑动引导机制：通过训练一个滑块适配器，捕捉偏好变化的方向，从而实现从分布内偏好到分布外偏好的过渡，扩展帕累托前沿。整体流程是，给定一个偏好，首先使用滑动引导机制生成新的偏好，然后使用偏好条件扩散模型生成轨迹，最后根据生成的轨迹进行决策。

关键创新：MODULI的关键创新在于：1) 将扩散模型引入离线多目标强化学习，作为轨迹规划器，利用其强大的生成能力。2) 提出了滑动引导机制，通过训练滑块适配器，实现了从分布内偏好到分布外偏好的平滑过渡，有效解决了OOD偏好泛化问题。3) 提出了两种回报归一化方法，提高了扩散模型生成轨迹的准确性。

关键设计：1) 滑块适配器的网络结构未知，但其作用是预测偏好变化的方向。2) 扩散模型的具体结构未知，但需要能够接受偏好作为条件输入。3) 损失函数的设计需要保证扩散模型能够生成与偏好对齐的轨迹，并且滑块适配器能够准确预测偏好变化的方向。4) 回报归一化方法的具体实现未知，但需要能够处理不同偏好下的回报差异。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

MODULI在D4MORL基准测试中取得了显著的性能提升，超越了现有的离线MORL算法。实验结果表明，MODULI在OOD偏好下的泛化能力显著提高，能够生成与用户偏好更加一致的策略。具体的性能数据和提升幅度在论文中进行了详细的展示。

🎯 应用场景

MODULI在机器人控制、推荐系统、金融投资等领域具有广泛的应用前景。例如，在机器人控制中，可以根据用户的偏好，生成不同的运动轨迹，实现个性化的控制策略。在推荐系统中，可以根据用户的多重目标（例如，点击率、转化率、用户满意度），生成不同的推荐列表，实现多目标优化。在金融投资中，可以根据投资者的风险偏好和收益目标，生成不同的投资组合，实现个性化的资产配置。

📄 摘要（原文）

Multi-objective Reinforcement Learning (MORL) seeks to develop policies that simultaneously optimize multiple conflicting objectives, but it requires extensive online interactions. Offline MORL provides a promising solution by training on pre-collected datasets to generalize to any preference upon deployment. However, real-world offline datasets are often conservatively and narrowly distributed, failing to comprehensively cover preferences, leading to the emergence of out-of-distribution (OOD) preference areas. Existing offline MORL algorithms exhibit poor generalization to OOD preferences, resulting in policies that do not align with preferences. Leveraging the excellent expressive and generalization capabilities of diffusion models, we propose MODULI (Multi-objective Diffusion Planner with Sliding Guidance), which employs a preference-conditioned diffusion model as a planner to generate trajectories that align with various preferences and derive action for decision-making. To achieve accurate generation, MODULI introduces two return normalization methods under diverse preferences for refining guidance. To further enhance generalization to OOD preferences, MODULI proposes a novel sliding guidance mechanism, which involves training an additional slider adapter to capture the direction of preference changes. Incorporating the slider, it transitions from in-distribution (ID) preferences to generating OOD preferences, patching, and extending the incomplete Pareto front. Extensive experiments on the D4MORL benchmark demonstrate that our algorithm outperforms state-of-the-art Offline MORL baselines, exhibiting excellent generalization to OOD preferences.