Latent Energy-Based Odyssey: Black-Box Optimization via Expanded Exploration in the Energy-Based Latent Space

📄 arXiv: 2405.16730v1 📥 PDF

作者: Peiyu Yu, Dinghuai Zhang, Hengzhi He, Xiaojian Ma, Ruiyao Miao, Yifan Lu, Yasi Zhang, Deqian Kong, Ruiqi Gao, Jianwen Xie, Guang Cheng, Ying Nian Wu

分类: cs.LG, cs.AI, stat.AP

发布日期: 2024-05-27

💡 一句话要点

提出基于能量的隐空间探索方法，用于离线黑盒优化。

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 黑盒优化 隐空间模型 能量模型 变分学习 密度比估计

📋 核心要点

  1. 现有黑盒优化方法在高维多模态空间中面临样本复杂度高、探索不足等问题，导致函数近似不准确和次优设计。
  2. 论文提出基于能量的隐空间模型，通过学习设计-值联合空间的压缩表示，实现高效的隐空间探索。
  3. 实验结果表明，该方法在合成和真实数据集上均优于现有方法，验证了其在黑盒优化中的有效性。

📝 摘要（中文）

离线黑盒优化(BBO)旨在利用预先收集的函数值和对应输入设计的离线数据集来优化黑盒函数。然而，黑盒函数的高维和高度多模态的输入设计空间对大多数直接对输入设计进行建模和操作的现有方法提出了固有的挑战。这些问题包括但不限于高样本复杂度（导致黑盒函数近似不准确）以及输入设计模式的覆盖和探索不足（导致次优的新输入设计提议）。本文考虑寻找一个隐空间，该隐空间可以作为设计-值联合空间的压缩但准确的表示，从而能够有效地对高价值输入设计模式进行潜在探索。为此，我们构建了一个可学习的基于能量的隐空间，并提出了一种噪声增强的伸缩密度比估计(NTRE)方案，用于变分学习一个准确的隐空间模型，而无需昂贵的马尔可夫链蒙特卡罗方法。然后，优化过程是在学习到的基于能量的模型在隐空间中引导下探索高价值设计，这被表述为从潜在变量参数化的逆模型中进行基于梯度的采样。我们表明，我们的特定参数化鼓励围绕高价值设计模式进行扩展探索，其动机是条件协方差矩阵反演的思想，该矩阵通常用于方差缩减。我们观察到，我们的方法在准确学习的信息丰富的隐空间和扩展探索模型设计的支持下，在合成和真实世界数据集（如design-bench套件）上，相对于以前的强大方法，产生了显著的改进。

🔬 方法详解

问题定义：离线黑盒优化旨在利用已有的数据集优化一个未知的黑盒函数。现有方法直接在输入空间进行建模和优化，但由于输入空间通常是高维且多模态的，导致样本复杂度高，难以充分探索所有可能的解空间，从而导致优化结果不理想。

核心思路：论文的核心思路是学习一个低维的隐空间，该隐空间能够有效地表示输入设计和对应的函数值。通过在隐空间中进行探索和优化，可以降低样本复杂度，并更容易找到高价值的输入设计。论文进一步设计了一种特殊的参数化方式，鼓励在隐空间中进行扩展探索，从而避免陷入局部最优。

技术框架：该方法主要包含两个阶段：1) 学习一个基于能量的隐空间模型。该模型通过噪声增强的伸缩密度比估计(NTRE)进行训练，以实现对设计-值联合空间的准确表示。2) 在隐空间中进行优化。通过从一个潜在变量参数化的逆模型中进行基于梯度的采样，探索高价值的输入设计。

关键创新：该方法的关键创新在于：1) 提出了基于能量的隐空间模型，能够有效地表示高维多模态的输入设计空间。2) 设计了一种噪声增强的伸缩密度比估计(NTRE)方案，用于学习准确的隐空间模型，避免了昂贵的马尔可夫链蒙特卡罗方法。3) 提出了一种特殊的参数化方式，鼓励在隐空间中进行扩展探索，从而提高优化效果。

关键设计：NTRE方案用于学习隐空间模型，其核心思想是通过密度比估计来近似能量函数。逆模型采用潜在变量进行参数化，并通过梯度采样在隐空间中进行探索。论文还设计了一种特殊的参数化方式，受到条件协方差矩阵反演的启发，鼓励在隐空间中进行扩展探索。具体的损失函数和网络结构等细节在论文中有详细描述。

📊 实验亮点

实验结果表明，该方法在多个合成和真实世界数据集上均取得了显著的性能提升。例如，在design-bench套件上，该方法优于现有的强基线方法，证明了其在离线黑盒优化中的有效性。具体的性能提升数据在论文中有详细展示。

🎯 应用场景

该研究成果可应用于各种需要黑盒优化的领域，例如材料设计、药物发现、超参数优化和强化学习等。通过学习有效的隐空间表示，可以显著提高优化效率，并找到更优的设计方案，从而降低成本、缩短研发周期，并提升产品性能。

📄 摘要（原文）

Offline Black-Box Optimization (BBO) aims at optimizing a black-box function using the knowledge from a pre-collected offline dataset of function values and corresponding input designs. However, the high-dimensional and highly-multimodal input design space of black-box function pose inherent challenges for most existing methods that model and operate directly upon input designs. These issues include but are not limited to high sample complexity, which relates to inaccurate approximation of black-box function; and insufficient coverage and exploration of input design modes, which leads to suboptimal proposal of new input designs. In this work, we consider finding a latent space that serves as a compressed yet accurate representation of the design-value joint space, enabling effective latent exploration of high-value input design modes. To this end, we formulate an learnable energy-based latent space, and propose Noise-intensified Telescoping density-Ratio Estimation (NTRE) scheme for variational learning of an accurate latent space model without costly Markov Chain Monte Carlo. The optimization process is then exploration of high-value designs guided by the learned energy-based model in the latent space, formulated as gradient-based sampling from a latent-variable-parameterized inverse model. We show that our particular parameterization encourages expanded exploration around high-value design modes, motivated by inversion thinking of a fundamental result of conditional covariance matrix typically used for variance reduction. We observe that our method, backed by an accurately learned informative latent space and an expanding-exploration model design, yields significant improvements over strong previous methods on both synthetic and real world datasets such as the design-bench suite.