Verbalized Machine Learning: Revisiting Machine Learning with Language Models

📄 arXiv: 2406.04344v3 📥 PDF

作者: Tim Z. Xiao, Robert Bamler, Bernhard Schölkopf, Weiyang Liu

分类: cs.LG, cs.CL, cs.CV

发布日期: 2024-06-06 (更新: 2025-02-14)

备注: Published in Transactions on Machine Learning Research (116 pages, 32 figures, v3: refined the paper structure and added more empirical results)

💡 一句话要点

提出Verbalized Machine Learning，利用语言模型解决传统机器学习问题并提升可解释性。

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: Verbalized Machine Learning 大型语言模型 可解释性 归纳偏置 模型选择

📋 核心要点

  1. 传统机器学习模型优化于连续参数空间，缺乏人类可解释性，限制了其应用和调试。
  2. VML 框架将参数空间约束为自然语言，利用大型语言模型作为参数化的学习器和优化器。
  3. 实验验证了 VML 在回归和分类任务中的有效性，并展示了其在编码归纳偏置和提供可解释更新方面的优势。

📝 摘要（中文）

本文介绍了一种名为Verbalized Machine Learning (VML) 的框架，其灵感来源于大型语言模型 (LLM) 的进展。与通常在连续参数空间中优化的传统机器学习 (ML) 模型不同，VML 将参数空间约束为人类可解释的自然语言。这种约束带来了一种新的函数逼近视角，其中带有文本提示的 LLM 可以被视为由文本提示参数化的函数。在此视角下，我们重新审视了经典的 ML 问题，例如回归和分类，并发现这些问题可以通过 LLM 参数化的学习器和优化器来解决。VML 的主要优势包括：(1) 易于编码归纳偏置：关于问题和假设类的先验知识可以用自然语言编码并输入到 LLM 参数化的学习器中；(2) 自动模型类选择：优化器可以基于数据和口头化的先验知识自动选择模型类，并且可以在训练期间更新模型类；(3) 可解释的学习器更新：LLM 参数化的优化器可以为为什么执行更新提供解释。我们通过实验验证了 VML 的有效性，并希望 VML 可以成为增强可解释性的垫脚石。

🔬 方法详解

问题定义：传统机器学习模型通常在连续的参数空间中进行优化，这使得模型难以解释，并且难以将人类的先验知识融入到模型中。此外，模型选择通常需要人工干预，并且在训练过程中模型类是固定的。

核心思路：VML 的核心思路是将机器学习模型的参数空间限制为自然语言。通过使用大型语言模型（LLM）作为参数化的学习器和优化器，可以将模型的参数表示为人类可理解的文本。这样，就可以利用自然语言来编码先验知识，并且可以使模型的更新过程更加透明和可解释。

技术框架：VML 的整体框架包括一个 LLM 参数化的学习器和一个 LLM 参数化的优化器。学习器接收输入数据和文本提示，并输出预测结果。优化器根据预测结果和真实标签，生成新的文本提示，用于更新学习器。这个过程迭代进行，直到模型收敛。

关键创新：VML 的关键创新在于将机器学习模型的参数空间限制为自然语言，并利用大型语言模型作为参数化的学习器和优化器。这使得模型更加可解释，并且可以更容易地融入人类的先验知识。此外，VML 还可以自动选择模型类，并在训练过程中更新模型类。

关键设计：VML 的关键设计包括如何选择合适的文本提示，以及如何设计 LLM 参数化的学习器和优化器。文本提示需要能够有效地编码先验知识，并且需要能够引导 LLM 生成合理的预测结果。LLM 参数化的学习器和优化器需要能够有效地学习和更新模型参数。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

论文通过实验验证了 VML 在回归和分类任务中的有效性。实验结果表明，VML 可以达到与传统机器学习模型相当的性能，并且具有更好的可解释性。此外，VML 还展示了其在编码归纳偏置和提供可解释更新方面的优势。

🎯 应用场景

VML 具有广泛的应用前景，例如在医疗诊断、金融风控等领域，可以利用自然语言来解释模型的决策过程，从而提高模型的透明度和可信度。此外，VML 还可以用于教育领域，帮助学生更好地理解机器学习模型的原理。

📄 摘要（原文）

Motivated by the progress made by large language models (LLMs), we introduce the framework of verbalized machine learning (VML). In contrast to conventional machine learning (ML) models that are typically optimized over a continuous parameter space, VML constrains the parameter space to be human-interpretable natural language. Such a constraint leads to a new perspective of function approximation, where an LLM with a text prompt can be viewed as a function parameterized by the text prompt. Guided by this perspective, we revisit classical ML problems, such as regression and classification, and find that these problems can be solved by an LLM-parameterized learner and optimizer. The major advantages of VML include (1) easy encoding of inductive bias: prior knowledge about the problem and hypothesis class can be encoded in natural language and fed into the LLM-parameterized learner; (2) automatic model class selection: the optimizer can automatically select a model class based on data and verbalized prior knowledge, and it can update the model class during training; and (3) interpretable learner updates: the LLM-parameterized optimizer can provide explanations for why an update is performed. We empirically verify the effectiveness of VML, and hope that VML can serve as a stepping stone to stronger interpretability.