LICO: Large Language Models for In-Context Molecular Optimization

📄 arXiv: 2406.18851v2 📥 PDF

作者: Tung Nguyen, Aditya Grover

分类: cs.LG, cs.AI, physics.chem-ph, q-bio.BM, q-bio.QM

发布日期: 2024-06-27 (更新: 2025-10-22)

备注: International Conference on Learning Representations (ICLR 2025)

💡 一句话要点

LICO：基于大语言模型的分子优化上下文学习框架

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 分子优化 大语言模型 上下文学习 黑盒优化 药物发现

📋 核心要点

  1. 黑盒函数优化是科学和工程中的核心问题，现有方法依赖于学习代理函数，但面临领域数据稀缺和复杂问题表达的挑战。
  2. LICO 通过扩展现有 LLM，并添加嵌入层和预测层，使其能够进行分子领域的上下文学习，从而解决黑盒优化问题。
  3. LICO 在分子优化基准 PMO 和 PMO-1K 上表现出色，证明了其在低数据量下的泛化能力和优化性能。

📝 摘要（中文）

在科学和工程领域，优化黑盒函数是一个基础问题。为了解决这个问题，许多方法学习一个代理函数，该函数从有限的历史评估中估计潜在的目标。大型语言模型（LLM）凭借其通过对大量数据进行预训练而获得的强大的模式匹配能力，成为代理建模的潜在候选者。然而，由于预训练语料库中缺乏特定领域的数据，以及用自然语言表达复杂问题的挑战，直接提示预训练的语言模型来产生预测在许多科学领域是不可行的。在这项工作中，我们介绍 LICO，一种通用模型，它扩展了任意基础 LLM以进行黑盒优化，特别是在分子领域中的应用。为了实现这一点，我们为语言模型配备了一个单独的嵌入层和预测层，并训练该模型对域上定义的一组不同的函数执行上下文预测。一旦经过训练，LICO 就可以仅通过上下文提示推广到未见过的分子属性。LICO 在 PMO（一个包含 23 个目标函数的具有挑战性的分子优化基准）上表现出竞争力，并在其低预算版本 PMO-1K 上实现了最先进的性能。

🔬 方法详解

问题定义：论文旨在解决分子领域的黑盒优化问题。现有方法，特别是直接使用预训练语言模型的方法，在分子领域面临两个主要痛点：一是预训练数据中缺乏足够的分子领域数据；二是难以用自然语言精确描述复杂的分子优化目标。

核心思路：LICO 的核心思路是利用大型语言模型强大的模式匹配能力，但避免直接依赖预训练知识。通过引入额外的嵌入层和预测层，并进行特定任务的训练，使 LLM 能够学习分子领域的上下文信息，从而实现黑盒优化。

技术框架：LICO 的整体框架包括以下几个关键部分：1) 选择一个预训练的 LLM 作为基础模型；2) 在 LLM 的基础上添加一个可训练的嵌入层，用于将分子表示（例如 SMILES 字符串）映射到 LLM 的输入空间；3) 添加一个可训练的预测层，用于将 LLM 的输出映射到目标属性的预测值；4) 使用一组不同的分子优化任务进行训练，使模型能够学习上下文学习的能力。

关键创新：LICO 的关键创新在于其将 LLM 应用于分子优化问题的方式。与直接提示 LLM 不同，LICO 通过引入额外的可训练层，并进行特定任务的训练，使 LLM 能够更好地适应分子领域的数据和任务。这种方法避免了对预训练数据的过度依赖，并提高了模型的泛化能力。

关键设计：LICO 的关键设计包括：1) 嵌入层的设计，需要能够有效地将分子表示映射到 LLM 的输入空间；2) 预测层的设计，需要能够准确地预测目标属性；3) 训练数据的选择，需要包含足够多样化的分子优化任务，以提高模型的泛化能力；4) 损失函数的设计，需要能够有效地指导模型的学习过程。具体的参数设置和网络结构等细节在论文中进行了详细描述。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

LICO 在 PMO 分子优化基准测试中表现出竞争力，并在低预算版本 PMO-1K 上实现了最先进的性能。这些结果表明，LICO 能够有效地利用有限的数据进行学习，并在分子优化任务中取得良好的效果。具体性能数据和对比基线在论文中有详细展示。

🎯 应用场景

LICO 在药物发现、材料科学等领域具有广泛的应用前景。它可以用于优化分子的各种性质，例如活性、溶解度、稳定性等，从而加速新药和新材料的研发过程。此外，LICO 还可以用于设计具有特定功能的分子，例如催化剂、传感器等，从而推动相关领域的技术进步。

📄 摘要（原文）

Optimizing black-box functions is a fundamental problem in science and engineering. To solve this problem, many approaches learn a surrogate function that estimates the underlying objective from limited historical evaluations. Large Language Models (LLMs), with their strong pattern-matching capabilities via pretraining on vast amounts of data, stand out as a potential candidate for surrogate modeling. However, directly prompting a pretrained language model to produce predictions is not feasible in many scientific domains due to the scarcity of domain-specific data in the pretraining corpora and the challenges of articulating complex problems in natural language. In this work, we introduce LICO, a general-purpose model that extends arbitrary base LLMs for black-box optimization, with a particular application to the molecular domain. To achieve this, we equip the language model with a separate embedding layer and prediction layer, and train the model to perform in-context predictions on a diverse set of functions defined over the domain. Once trained, LICO can generalize to unseen molecule properties simply via in-context prompting. LICO performs competitively on PMO, a challenging molecular optimization benchmark comprising 23 objective functions, and achieves state-of-the-art performance on its low-budget version PMO-1K.