Towards scientific discovery with dictionary learning: Extracting biological concepts from microscopy foundation models

📄 arXiv: 2412.16247v3 📥 PDF

作者: Konstantin Donhauser, Kristina Ulicna, Gemma Elyse Moran, Aditya Ravuri, Kian Kenyon-Dean, Cian Eastwood, Jason Hartford

分类: cs.LG, cs.AI, cs.CV, stat.ML

发布日期: 2024-12-20 (更新: 2025-07-18)

💡 一句话要点

结合稀疏字典学习与PCA白化的ICFL方法，从细胞显微图像中提取生物学概念。

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 字典学习 细胞显微图像 生物概念提取 PCA白化 迭代码本特征学习

📋 核心要点

  1. 现有方法难以从细胞显微图像等科学数据中提取有意义的生物学概念，缺乏有效工具。
  2. 论文提出结合稀疏字典学习ICFL与PCA白化的方法，旨在提取细胞显微图像中的生物学概念。
  3. 实验表明，该方法能够成功检索到细胞类型和遗传扰动等生物学概念，并揭示细微形态变化。

📝 摘要（中文）

稀疏字典学习(DL)已成为从主要在文本领域训练的大型语言模型(LLM)内部提取语义上有意义的概念的强大方法。本文探讨了DL是否能从较少人类可解释的科学数据中提取有意义的概念，例如在细胞显微图像上训练的视觉基础模型，在这些模型中，关于应该出现哪些高级概念的先验知识有限。我们提出了一种新颖的稀疏DL算法组合，即迭代码本特征学习(ICFL)，以及源自控制数据的PCA白化预处理步骤。使用这种组合方法，我们成功地检索了生物学上有意义的概念，例如细胞类型和遗传扰动。此外，我们展示了我们的方法如何揭示由人类可解释的干预引起的细微形态变化，为通过生物成像中的机械可解释性进行科学发现提供了一个有希望的新方向。

🔬 方法详解

问题定义：论文旨在解决从细胞显微图像等复杂科学数据中自动提取有意义生物学概念的问题。现有方法在处理此类数据时面临挑战，因为缺乏明确的先验知识，且数据维度高、噪声大，难以直接应用传统的概念提取方法。因此，需要一种能够有效处理高维、低信噪比数据的概念提取方法。

核心思路：论文的核心思路是将稀疏字典学习(DL)与PCA白化预处理相结合。稀疏DL能够从数据中学习一组基向量（字典），这些基向量可以用来表示数据中的潜在概念。PCA白化则用于降低数据的维度，去除噪声，并使数据更加适合于DL算法的处理。通过这种结合，可以有效地从细胞显微图像中提取出具有生物学意义的概念。

技术框架：整体框架包括以下几个主要步骤：1) 使用细胞显微图像数据训练视觉基础模型；2) 从视觉基础模型中提取特征；3) 使用控制数据进行PCA白化预处理，降低特征维度并去除噪声；4) 使用迭代码本特征学习(ICFL)算法进行稀疏字典学习，提取生物学概念；5) 对提取的概念进行生物学解释和验证。

关键创新：论文的关键创新在于将ICFL算法与PCA白化预处理相结合，并将其应用于细胞显微图像分析。这种组合方法能够有效地处理高维、低信噪比的生物图像数据，并提取出具有生物学意义的概念。此外，论文还展示了该方法在揭示由人类可解释的干预引起的细微形态变化方面的潜力。

关键设计：PCA白化使用控制数据进行训练，以确保白化过程不会引入偏差。ICFL算法采用迭代的方式学习字典，并在每次迭代中更新字典和稀疏编码。损失函数包括重构误差和稀疏性约束，以保证学习到的字典能够准确地表示数据，并且具有稀疏性。

📊 实验亮点

实验结果表明，该方法能够成功地从细胞显微图像中提取出具有生物学意义的概念，例如细胞类型和遗传扰动。此外，该方法还能够揭示由人类可解释的干预引起的细微形态变化。与现有方法相比，该方法在概念提取的准确性和可解释性方面均有所提升。具体性能数据未知，但论文强调了其在揭示细微形态变化方面的潜力。

🎯 应用场景

该研究成果可应用于生物医学领域，例如细胞类型识别、疾病诊断、药物筛选等。通过自动提取细胞显微图像中的生物学概念，可以加速科学发现过程，并为个性化医疗提供新的工具。未来，该方法有望扩展到其他类型的生物图像数据，例如组织切片图像、电子显微镜图像等。

📄 摘要（原文）

Sparse dictionary learning (DL) has emerged as a powerful approach to extract semantically meaningful concepts from the internals of large language models (LLMs) trained mainly in the text domain. In this work, we explore whether DL can extract meaningful concepts from less human-interpretable scientific data, such as vision foundation models trained on cell microscopy images, where limited prior knowledge exists about which high-level concepts should arise. We propose a novel combination of a sparse DL algorithm, Iterative Codebook Feature Learning (ICFL), with a PCA whitening pre-processing step derived from control data. Using this combined approach, we successfully retrieve biologically meaningful concepts, such as cell types and genetic perturbations. Moreover, we demonstrate how our method reveals subtle morphological changes arising from human-interpretable interventions, offering a promising new direction for scientific discovery via mechanistic interpretability in bioimaging.