FormuLLA: A Large Language Model Approach to Generating Novel 3D Printable Formulations

📄 arXiv: 2601.02071v1 📥 PDF

作者: Adeshola Okubena, Yusuf Ali Mohammed, Moe Elbadawi

分类: cs.AI

发布日期: 2026-01-05

💡 一句话要点

FormuLLA：利用大型语言模型生成新型3D打印药物配方

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture) 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 药物3D打印 大型语言模型 配方生成 熔融沉积建模 人工智能 个性化药物 Llama2

📋 核心要点

  1. 现有AI驱动的药物3D打印配方研究过于狭隘，未能充分考虑配方本身的复杂挑战。
  2. 论文提出FormuLLA，利用在FDM数据集上微调的LLM，根据API剂量推荐辅料并预测长丝机械性能。
  3. 实验表明Llama2最适合推荐FDM配方辅料，且模型选择和参数化对性能有显著影响，小模型易发生灾难性遗忘。

📝 摘要（中文）

药物三维(3D)打印是一种先进的制造技术，具有实现真正个性化剂型的潜力。最近的研究整合了人工智能(AI)，以加速配方和工艺开发，极大地改变了当前药物3D打印的方法。迄今为止，大多数人工智能驱动的努力仍然过于狭隘，未能考虑到该技术固有的更广泛的配方挑战。人工智能的最新进展引入了通用人工智能的概念，其中系统超越了传统的预测建模，转向更通用、类人的推理。在这项工作中，我们研究了大型语言模型(LLM)的应用，该模型在包含超过1400种配方的熔融沉积建模(FDM)数据集上进行了微调，以根据活性药物成分(API)剂量推荐合适的辅料，并预测长丝的机械性能。对四种LLM架构进行了微调，并对微调和生成参数配置进行了系统评估。我们的结果表明，Llama2最适合推荐FDM配方的辅料。此外，模型选择和参数化会显著影响性能，较小的LLM会出现灾难性遗忘的实例。此外，我们证明了：(i)即使是相对较小的超过1400种配方的数据集，也可能导致模型灾难性遗忘；(ii)标准LLM指标仅评估语言性能，而不评估配方可加工性；(iii)在生物医学相关数据上训练的LLM并不总是产生最佳结果。解决这些挑战对于推动LLM超越语言能力，并使其成为可靠的药物配方开发系统至关重要。

🔬 方法详解

问题定义：药物3D打印配方开发面临挑战，现有AI方法未能充分解决配方选择和性能预测问题。传统方法依赖专家经验和实验试错，效率低下且成本高昂。现有AI模型通常只关注特定方面，缺乏对配方整体性能的预测能力。

核心思路：利用大型语言模型(LLM)的强大泛化能力和知识存储能力，将其应用于药物配方生成和性能预测。通过在包含大量配方数据的FDM数据集上进行微调，使LLM学习配方成分与性能之间的关系，从而实现智能配方设计。

技术框架：整体流程包括数据收集与预处理、LLM模型选择与微调、配方生成与性能预测、以及模型评估与优化。首先，收集包含API剂量、辅料成分和长丝机械性能的FDM数据集。然后，选择合适的LLM架构（如Llama2）并在该数据集上进行微调。微调后的LLM可以根据给定的API剂量生成推荐的辅料成分，并预测长丝的机械性能。最后，通过实验验证生成的配方，并根据实验结果对LLM进行优化。

关键创新：将大型语言模型应用于药物配方生成领域，突破了传统AI方法的局限性。通过利用LLM的知识迁移能力，可以快速生成新的配方，并预测其性能，从而加速药物3D打印的配方开发过程。此外，论文还指出了标准LLM评估指标的局限性，并强调了对配方可加工性的评估。

关键设计：论文比较了四种LLM架构（具体架构未知），并对微调和生成参数配置进行了系统评估。数据集包含超过1400种FDM配方。损失函数和网络结构等技术细节未明确说明，但强调了模型选择和参数化对性能的影响，以及小模型容易出现灾难性遗忘的问题。

📊 实验亮点

实验结果表明，Llama2模型在推荐FDM配方辅料方面表现最佳。研究还发现，模型选择和参数化对性能有显著影响，较小的LLM模型容易出现灾难性遗忘。此外，论文强调了标准LLM指标在评估配方可加工性方面的局限性，并指出在生物医学相关数据上训练的LLM不一定能产生最佳结果。

🎯 应用场景

该研究成果可应用于加速个性化药物3D打印配方的开发，降低研发成本，并提高药物生产效率。通过智能推荐辅料和预测性能，可以快速生成满足特定需求的药物配方，实现患者的个性化治疗。未来，该技术有望扩展到其他材料科学领域，用于新材料的智能设计与合成。

📄 摘要（原文）

Pharmaceutical three-dimensional (3D) printing is an advanced fabrication technology with the potential to enable truly personalised dosage forms. Recent studies have integrated artificial intelligence (AI) to accelerate formulation and process development, drastically transforming current approaches to pharmaceutical 3D printing. To date, most AI-driven efforts remain narrowly focused, while failing to account for the broader formulation challenges inherent to the technology. Recent advances in AI have introduced artificial general intelligence concepts, wherein systems extend beyond conventional predictive modelling toward more generalised, human-like reasoning. In this work, we investigate the application of large language models (LLMs), fine-tuned on a fused deposition modelling (FDM) dataset comprising over 1400 formulations, to recommend suitable excipients based on active pharmaceutical ingredient (API) dose, and predict filament mechanical properties. Four LLM architectures were fine-tuned, with systematic evaluation of both fine-tuning and generative parameter configurations. Our results demonstrate that Llama2 was best suited for recommending excipients for FDM formulations. Additionally, model selection and parameterisation significantly influence performance, with smaller LLMs exhibiting instances of catastrophic forgetting. Furthermore, we demonstrate: (i) even with relatively small dataset of over 1400 formulations, it can lead to model catastrophic forgetting; (ii) standard LLM metrics only evaluate linguistic performance but not formulation processability; and (iii) LLMs trained on biomedically-related data do not always produce the best results. Addressing these challenges is essential to advancing LLMs beyond linguistic proficiency and toward reliable systems for pharmaceutical formulation development.