Behavioral Foundation Models for Quality Diversity

📄 arXiv: 2609.35615v1 📥 PDF

作者: Nazim Bendib, Nicolas Perrin-Gilbert, Olivier Sigaud

分类: cs.LG, cs.AI

发布日期: 2026-09-28

备注: Accepted at NeurIPS 2026

💡 一句话要点

提出BFM-QD框架以优化行为多样性搜索

🎯 匹配领域: 支柱一：机器人控制 (Robot Control) 支柱二：RL算法与架构 (RL & Architecture) 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 行为基础模型 质量多样性 强化学习 潜在空间 策略优化 无梯度更新 机器人控制

📋 核心要点

  1. 现有的质量多样性方法通常直接在高维策略参数空间中搜索，效率低下且容易陷入局部最优。
  2. 本文提出BFM-QD框架，通过在BFM的潜在空间中进行搜索，利用行为数据的离线预训练来提升策略多样性和性能。
  3. 实验结果表明，BFM-QD在稀疏和欺骗性环境中表现出显著的性能提升，相较于参数空间基线有明显的优势。

📝 摘要（中文）

行为基础模型（BFMs）是强化学习中的新兴范式，类似于自然语言处理中的大型语言模型，展现出显著的多样性，能够实现零-shot性能、快速模仿和在线适应。本文探讨BFMs诱导的潜在行为空间是否可以作为有效的搜索空间，通过质量多样性（QD）方法发现高表现的行为多样性策略。我们提出BFM-QD框架，在BFM的紧凑潜在空间中进行QD搜索，并展示其提供了一种闭式、无梯度的策略改进算子，近似策略梯度更新，无需训练评论者和反向传播。在多个连续控制基准测试中，BFM-QD始终优于参数空间基线，尤其在稀疏和具有欺骗性的环境中表现显著，显示出BFM-QD框架的有效性。

🔬 方法详解

问题定义：本文旨在解决现有质量多样性方法在高维策略参数空间中搜索效率低下的问题，尤其是在稀疏和复杂环境中的表现不佳。

核心思路：通过引入BFM-QD框架，利用BFMs诱导的潜在行为空间进行搜索，能够有效发现多样化且高效的策略，避免了直接在高维空间中搜索的复杂性。

技术框架：BFM-QD框架主要包括潜在空间的构建、策略改进算子的设计以及无梯度优化过程。首先，通过BFM生成潜在行为表示，然后在此空间中进行QD搜索，最后应用闭式策略改进算子进行优化。

关键创新：BFM-QD框架的最大创新在于其闭式、无梯度的策略改进算子，能够近似策略梯度更新，而无需进行评论者训练和反向传播，这大大简化了训练过程。

关键设计：在BFM-QD中，关键设计包括潜在空间的维度选择、策略改进算子的具体实现，以及如何利用离线行为数据进行预训练，以增强策略的多样性和适应性。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果显示，BFM-QD在多个基准测试中表现优异，尤其在稀疏和欺骗性环境中，相较于参数空间基线，性能提升幅度达到显著的水平，证明了该框架的有效性和优势。

🎯 应用场景

该研究的潜在应用场景包括机器人控制、游戏AI和自动化决策系统等领域。BFM-QD框架能够有效发现多样化的策略，提升系统在复杂环境中的适应能力，具有广泛的实际价值和未来影响。

📄 摘要（原文）

Behavioral Foundation Models (BFMs) are an emerging paradigm in reinforcement learning, playing a role analogous to large language models in natural language processing: they have shown remarkable versatility, enabling zero-shot performance, fast imitation, and online adaptation, all by exploiting the structure of a latent space. In this work, we investigate whether the latent behavioral space induced by BFMs can serve as an effective search space to discover large repertoires of behaviorally diverse and high-performing policies through Quality-Diversity (QD) methods. While QD methods generally search directly in high-dimensional policy parameter space, in this paper, we present BFM-QD, a framework that performs QD search in the compact latent space of a BFM. We further show that the BFM-QD framework provides a closed-form, gradient-free policy improvement operator that approximates a policy gradient update, but requires no critic training and no backpropagation. Across continuous-control benchmarks spanning dense locomotion, sparse navigation, and contact-rich manipulation, BFM-QD consistently outperforms parameter-space baselines, with particularly stark gains in sparse and deceptive settings, where all tested parameter-space QD methods collapse to near-zero performance. These results show the effectiveness of the BFM-QD framework, benefiting from the synergy between dimensionality reduction of the search space and offline pretraining from diverse behavioral data. This positions BFMs as a general-purpose backbone for QD optimization, extending their utility beyond zero-shot task solving to the discovery of diverse behavioral repertoires.