SELU: Self-Learning Embodied MLLMs in Unknown Environments

📄 arXiv: 2410.03303v1 📥 PDF

作者: Boyu Li, Haobin Jiang, Ziluo Ding, Xinrun Xu, Haoran Li, Dongbin Zhao, Zongqing Lu

分类: cs.LG, cs.CV

发布日期: 2024-10-04

💡 一句话要点

提出SELU，通过自学习提升具身多模态大语言模型在未知环境中的理解与决策能力

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture) 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 具身智能 多模态大语言模型 自学习 Actor-Critic 环境理解 决策能力 强化学习 后见之明重标记

📋 核心要点

  1. 现有方法在提升具身多模态大语言模型时，主要关注决策能力，忽略了环境理解能力的提升，限制了自学习潜力。
  2. SELU借鉴Actor-Critic思想，通过Critic自问和后见之明重标记增强环境理解，并利用Critic反馈提升Actor决策能力。
  3. 实验结果表明，SELU在AI2-THOR和VirtualHome环境中，显著提升了Critic和Actor的性能，验证了自学习的有效性。

📝 摘要（中文）

近年来，多模态大语言模型(MLLMs)展现出强大的视觉理解和决策能力，从而能够在未知环境中自主提升MLLMs成为可能。然而，外部反馈（如人类或环境反馈）并非总是可用。为了解决这一挑战，现有方法主要侧重于通过投票和评分机制来增强MLLMs的决策能力，而很少关注提升MLLMs在未知环境中的环境理解能力。为了充分释放MLLMs的自学习潜力，我们提出了一种新颖的Actor-Critic自学习范式，称为SELU，其灵感来源于强化学习中的Actor-Critic范式。Critic采用自问和后见之明重标记来从Actor收集的交互轨迹中提取知识，从而增强其环境理解能力。同时，Actor通过Critic提供的自我反馈得到改进，从而增强其决策能力。我们在AI2-THOR和VirtualHome环境中评估了我们的方法，SELU通过自学习实现了Critic约28%和30%的改进，以及Actor约20%和24%的改进。

🔬 方法详解

问题定义：现有具身多模态大语言模型在未知环境中进行自学习时，面临缺乏外部反馈的问题。虽然可以通过投票等机制提升决策能力，但环境理解能力的不足限制了模型的整体性能和自学习潜力。因此，如何有效提升MLLM在未知环境中的环境理解能力是亟待解决的问题。

核心思路：SELU的核心思路是借鉴强化学习中的Actor-Critic框架，构建一个自学习闭环。Actor负责与环境交互并生成轨迹，Critic负责评估Actor的行为并提供反馈。通过这种方式，模型可以在没有外部监督的情况下，自主地学习和提升环境理解和决策能力。

技术框架：SELU包含Actor和Critic两个主要模块。Actor负责根据当前环境状态生成动作，并与环境交互。Critic负责评估Actor生成的轨迹，并提供反馈信号。具体流程如下：1) Actor与环境交互，收集轨迹数据；2) Critic利用自问和后见之明重标记技术，从轨迹数据中提取知识，提升环境理解能力；3) Critic向Actor提供反馈，指导Actor改进决策策略；4) Actor根据Critic的反馈更新自身参数，提升决策能力。

关键创新：SELU的关键创新在于将Actor-Critic框架引入到具身多模态大语言模型的自学习中，并提出了自问和后见之明重标记技术。自问技术允许Critic主动提问关于环境的问题，从而更深入地理解环境。后见之明重标记技术则允许Critic利用交互轨迹中的信息，重新标记过去的动作，从而更好地评估Actor的行为。

关键设计：SELU的具体实现细节未知，论文中可能包含关于Actor和Critic的网络结构、损失函数、训练策略等更详细的描述。例如，Actor可能采用Transformer结构，Critic可能采用视觉语言模型。损失函数可能包括模仿学习损失和强化学习损失。训练策略可能包括交替训练Actor和Critic等。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

SELU在AI2-THOR和VirtualHome两个具身环境中进行了评估。实验结果表明，通过自学习，SELU能够显著提升Critic和Actor的性能。具体而言，Critic的性能提升了约28%和30%，Actor的性能提升了约20%和24%。这些结果表明，SELU是一种有效的自学习方法，可以显著提升具身多模态大语言模型在未知环境中的理解和决策能力。

🎯 应用场景

SELU具有广泛的应用前景，例如智能家居、机器人导航、自动驾驶等领域。它可以使智能体在未知环境中自主学习和适应，从而完成各种复杂的任务。此外，SELU还可以用于训练更强大的通用人工智能模型，使其能够更好地理解和与世界交互。

📄 摘要（原文）

Recently, multimodal large language models (MLLMs) have demonstrated strong visual understanding and decision-making capabilities, enabling the exploration of autonomously improving MLLMs in unknown environments. However, external feedback like human or environmental feedback is not always available. To address this challenge, existing methods primarily focus on enhancing the decision-making capabilities of MLLMs through voting and scoring mechanisms, while little effort has been paid to improving the environmental comprehension of MLLMs in unknown environments. To fully unleash the self-learning potential of MLLMs, we propose a novel actor-critic self-learning paradigm, dubbed SELU, inspired by the actor-critic paradigm in reinforcement learning. The critic employs self-asking and hindsight relabeling to extract knowledge from interaction trajectories collected by the actor, thereby augmenting its environmental comprehension. Simultaneously, the actor is improved by the self-feedback provided by the critic, enhancing its decision-making. We evaluate our method in the AI2-THOR and VirtualHome environments, and SELU achieves critic improvements of approximately 28% and 30%, and actor improvements of about 20% and 24% via self-learning.