LLM2TEA: An Agentic AI Designer for Discovery with Generative Evolutionary Multitasking

📄 arXiv: 2406.14917v3 📥 PDF

作者: Melvin Wong, Jiao Liu, Thiago Rios, Stefan Menzel, Yew Soon Ong

分类: cs.AI, cs.CL, cs.CV, cs.LG, cs.NE

发布日期: 2024-06-21 (更新: 2025-07-28)

备注: This work is accepted by IEEE CIM. IEEE copyrights applies

期刊: IEEE Computational Intelligence Magazine (Volume: 20, Issue: 4, November 2025)

DOI: 10.1109/MCI.2025.3592142

💡 一句话要点

提出LLM2TEA以解决跨领域设计优化问题

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 大型语言模型 进化算法 设计优化 跨领域创新 3D生成模型

📋 核心要点

  1. 现有设计方法在跨领域创新和物理性能评估方面存在局限，难以生成既新颖又符合实际应用的设计。
  2. LLM2TEA通过结合大型语言模型和进化算法，实现了跨领域设计的生成与优化，能够生成符合物理规格的创新设计。
  3. 实验结果显示，LLM2TEA生成的设计在多样性和物理性能上均显著优于现有的文本到3D基线，超过73%的设计在物理性能上超越了前1%的设计。

📝 摘要（中文）

本文提出了LLM2TEA，一个基于大型语言模型（LLM）的多任务进化算法，代表了首个具备生成性进化多任务能力的智能设计师。LLM2TEA能够跨越多个领域进行解决方案的交叉繁殖，促进超越学科界限的新颖设计的发现。其核心在于生成符合现实物理规格的创新设计。LLM2TEA包括一个LLM用于从文本提示生成基因型样本，一个文本到3D生成模型用于生成相应的表型，一个分类器用于解释其语义表示，以及一个计算模拟器用于评估其物理属性。实验结果表明，LLM2TEA在概念设计优化中表现出显著的效果，生成的新设计在多样性上比现有的文本到3D基线提高了97%至174%。

🔬 方法详解

问题定义：本文旨在解决现有设计方法在跨领域创新和物理性能评估方面的不足，尤其是在生成新颖且符合实际应用的设计时的挑战。

核心思路：LLM2TEA结合大型语言模型与多任务进化算法，通过生成与优化的结合，能够在多个领域中交叉繁殖解决方案，从而发现创新设计。

技术框架：LLM2TEA的整体架构包括四个主要模块：1) LLM生成基因型样本；2) 文本到3D生成模型生成表型；3) 分类器解释语义表示；4) 计算模拟器评估物理属性。

关键创新：LLM2TEA引入了基于LLM的多任务进化操作符，指导搜索高性能且实用的设计，这一创新在于其能够同时处理多个任务并优化设计。

关键设计：在设计中，LLM的文本提示生成基因型样本，采用特定的损失函数来确保生成的设计符合物理规格，网络结构经过优化以提高生成效率和设计质量。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果表明，LLM2TEA在概念设计优化中实现了97%至174%的新设计多样性提升，且超过73%的生成设计在物理性能上超越了文本到3D基线的前1%设计，展示了其在实际应用中的有效性。

🎯 应用场景

LLM2TEA的研究成果在多个领域具有广泛的应用潜力，包括产品设计、建筑设计和工业设计等。其能够生成既美观又符合实际功能的设计，未来可能在快速原型制作和个性化设计中发挥重要作用。

📄 摘要（原文）

This paper presents LLM2TEA, a Large Language Model (LLM) driven MultiTask Evolutionary Algorithm, representing the first agentic AI designer of its kind operating with generative evolutionary multitasking (GEM). LLM2TEA enables the crossbreeding of solutions from multiple domains, fostering novel solutions that transcend disciplinary boundaries. Of particular interest is the ability to discover designs that are both novel and conforming to real-world physical specifications. LLM2TEA comprises an LLM to generate genotype samples from text prompts describing target objects, a text-to-3D generative model to produce corresponding phenotypes, a classifier to interpret its semantic representations, and a computational simulator to assess its physical properties. Novel LLM-based multitask evolutionary operators are introduced to guide the search towards high-performing, practically viable designs. Experimental results in conceptual design optimization validate the effectiveness of LLM2TEA, showing 97% to 174% improvements in the diversity of novel designs over the current text-to-3D baseline. Moreover, over 73% of the generated designs outperform the top 1% of designs produced by the text-to-3D baseline in terms of physical performance. The designs produced by LLM2TEA are not only aesthetically creative but also functional in real-world contexts. Several of these designs have been successfully 3D printed, demonstrating the ability of our approach to transform AI-generated outputs into tangible, physical designs. These designs underscore the potential of LLM2TEA as a powerful tool for complex design optimization and discovery, capable of producing novel and physically viable designs.