PrefMMT: Modeling Human Preferences in Preference-based Reinforcement Learning with Multimodal Transformers

📄 arXiv: 2409.13683v2 📥 PDF

作者: Dezhong Zhao, Ruiqi Wang, Dayoon Suh, Taehyeon Kim, Ziqin Yuan, Byung-Cheol Min, Guohua Chen

分类: cs.RO

发布日期: 2024-09-20 (更新: 2025-03-11)

💡 一句话要点

PrefMMT：利用多模态Transformer建模基于偏好的强化学习中的人类偏好

🎯 匹配领域: 支柱一：机器人控制 (Robot Control) 支柱二：RL算法与架构 (RL & Architecture) 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 偏好强化学习 多模态Transformer 人类偏好建模 机器人控制 序列建模

📋 核心要点

  1. 现有基于偏好的强化学习方法通常采用马尔可夫假设，忽略了机器人行为轨迹中的时间依赖性，导致偏好建模不准确。
  2. PrefMMT通过解耦状态和动作模态，利用多模态Transformer网络分层地捕捉模态内的时间依赖性和模态间的状态-动作交互。
  3. 实验结果表明，PrefMMT在D4RL和Meta-World基准测试中，始终优于最先进的偏好建模基线方法，性能显著提升。

📝 摘要（中文）

基于偏好的强化学习(PbRL)在使机器人行为与人类偏好对齐方面显示出潜力，但其成功很大程度上取决于通过奖励模型对人类偏好的准确建模。大多数方法对偏好建模(PM)采用马尔可夫假设，忽略了机器人行为轨迹中影响人类评估的时间依赖性。虽然最近的工作利用序列建模通过学习序列非马尔可夫奖励来缓解这个问题，但它们忽略了机器人轨迹的多模态性质，即由状态和动作两种不同的模态组成。因此，它们常常难以捕捉到这些模态之间复杂且显著影响人类偏好的相互作用。在本文中，我们提出了一种用于PM的多模态序列建模方法，通过解耦状态和动作模态。我们引入了一个名为PrefMMT的多模态Transformer网络，它分层地利用模态内的时间依赖性和模态间的状态-动作交互来捕捉复杂的偏好模式。我们证明了PrefMMT在D4RL基准测试中的运动任务和Meta-World基准测试中的操作任务上始终优于最先进的PM基线。

🔬 方法详解

问题定义：现有的基于偏好的强化学习方法在建模人类偏好时，通常采用马尔可夫假设，忽略了机器人行为轨迹中的时间依赖性。此外，它们也忽略了机器人轨迹的多模态特性，即状态和动作两种模态之间的复杂交互，这导致了偏好建模的不准确，限制了PbRL的性能。

核心思路：PrefMMT的核心思路是通过多模态序列建模来更准确地捕捉人类偏好。它将机器人轨迹的状态和动作视为两种不同的模态，并利用Transformer网络来学习模态内的时间依赖性和模态间的状态-动作交互。通过这种方式，PrefMMT能够更好地理解人类对机器人行为的评价标准，从而提高奖励模型的准确性。

技术框架：PrefMMT的整体框架包含以下几个主要模块：1) 状态嵌入模块：将状态信息嵌入到高维空间；2) 动作嵌入模块：将动作信息嵌入到高维空间；3) 模态内Transformer编码器：分别对状态和动作序列进行编码，捕捉各自的时间依赖性；4) 模态间Transformer编码器：融合状态和动作的编码信息，捕捉它们之间的交互关系；5) 偏好预测模块：基于融合后的信息预测人类的偏好。

关键创新：PrefMMT的关键创新在于其多模态Transformer网络结构，它能够同时处理状态和动作两种模态的信息，并学习它们之间的复杂交互。与传统的单模态序列建模方法相比，PrefMMT能够更全面地理解机器人行为轨迹，从而更准确地建模人类偏好。此外，分层Transformer结构允许模型首先学习模态内的时间依赖性，然后再学习模态间的交互，这有助于提高模型的学习效率和泛化能力。

关键设计：PrefMMT使用标准的Transformer编码器作为其核心构建块。状态和动作嵌入模块使用多层感知机(MLP)来实现。模态内和模态间Transformer编码器都包含多个Transformer层，每个Transformer层都包含自注意力机制和前馈神经网络。损失函数采用二元交叉熵损失，用于衡量预测偏好与真实偏好之间的差异。模型的训练采用Adam优化器。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

PrefMMT在D4RL和Meta-World基准测试中取得了显著的性能提升。在D4RL的运动任务中，PrefMMT的性能优于所有基线方法，平均提升幅度超过10%。在Meta-World的操作任务中，PrefMMT也取得了类似的性能提升，证明了其在不同任务和环境下的泛化能力。实验结果表明，PrefMMT能够更准确地建模人类偏好，从而提高基于偏好的强化学习的性能。

🎯 应用场景

PrefMMT的研究成果可以广泛应用于机器人控制领域，特别是需要与人类进行交互的场景，例如家庭服务机器人、医疗辅助机器人和人机协作制造等。通过更准确地建模人类偏好，PrefMMT可以使机器人更好地理解人类的需求和意图，从而提供更自然、更高效的服务。此外，该方法还可以应用于其他基于偏好的学习任务，例如推荐系统和个性化搜索等。

📄 摘要（原文）

Preference-based reinforcement learning (PbRL) shows promise in aligning robot behaviors with human preferences, but its success depends heavily on the accurate modeling of human preferences through reward models. Most methods adopt Markovian assumptions for preference modeling (PM), which overlook the temporal dependencies within robot behavior trajectories that impact human evaluations. While recent works have utilized sequence modeling to mitigate this by learning sequential non-Markovian rewards, they ignore the multimodal nature of robot trajectories, which consist of elements from two distinctive modalities: state and action. As a result, they often struggle to capture the complex interplay between these modalities that significantly shapes human preferences. In this paper, we propose a multimodal sequence modeling approach for PM by disentangling state and action modalities. We introduce a multimodal transformer network, named PrefMMT, which hierarchically leverages intra-modal temporal dependencies and inter-modal state-action interactions to capture complex preference patterns. We demonstrate that PrefMMT consistently outperforms state-of-the-art PM baselines on locomotion tasks from the D4RL benchmark and manipulation tasks from the Meta-World benchmark.