MorphoOrgaAgent: A Foundation-Model-Based Multi-Agent System for Autonomous Organoid Analysis

📄 arXiv: 2609.08696v1 📥 PDF

作者: Hanyi Zhang, Maximilian Hoermann, Lion J. Gleiter, Yiling Xu, Bettina Katalin Budai, Hans-Ulrich Kauczor, Carsten Marr, Tingying Peng

分类: cs.MA, cs.CV

发布日期: 2026-09-08

备注: Accepted at the 2nd Agentic AI for Medicine Workshop, MICCAI 2026. 15 pages, 3 figures, 2 tables

🔗 代码/项目: GITHUB

💡 一句话要点

提出MorphoOrgaAgent以解决类器官分析中的自动化挑战

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 类器官分析 自动化分割 多代理系统 自然语言处理 数据分析 生物医学应用 零-shot学习

📋 核心要点

  1. 现有的类器官分析方法依赖手动分割，耗时且需要专业技能，限制了实验生物学家的使用。
  2. MorphoOrgaAgent通过多代理框架实现零-shot分割和自动报告生成，简化了数据分析过程。
  3. 实验结果显示，该系统在处理用户请求和生成报告方面表现优异，测量结果与真实值高度一致。

📝 摘要（中文）

类器官是三维组织模型，其形态特征对肿瘤发展、疾病进展和药物测试提供重要见解。然而，提取这些形态特征通常依赖于耗时且劳动密集的手动分割，并且进行定量统计分析通常需要编程技能和数学背景，这对实验生物学家构成了重大障碍。为了解决这些问题，本文提出了MorphoOrgaAgent，一个多代理框架，实现了零-shot类器官分割、自动数据分析和基于自然语言输入的报告生成。该框架主要由三个核心组件组成：任务理解代理、混合分割模块和报告代理。实验结果表明，MorphoOrgaAgent能够处理用户的明确和描述性请求，生成的测量结果与真实值高度匹配，并且无需手动编程即可生成完整的分析报告。

🔬 方法详解

问题定义：本文旨在解决类器官分析中手动分割和数据分析的高成本和复杂性问题。现有方法往往需要专业的编程技能和数学背景，限制了其在生物学实验中的应用。

核心思路：MorphoOrgaAgent通过多代理系统实现自动化的类器官分割和数据分析，允许用户通过自然语言输入请求，降低了使用门槛。

技术框架：该框架主要由三个核心模块组成：任务理解代理（TaskUnderstandingAgent）用于识别用户请求的测量和可视化类型；混合分割模块结合Cellpose生成的几何提示与文本提示，引导SAM3进行零-shot类器官实例分割；报告代理（ReportAgent）计算定量指标并将其与生成的可视化结果汇编成结构化报告。

关键创新：MorphoOrgaAgent的创新在于其零-shot分割能力和自动报告生成，显著降低了对用户编程技能的依赖，与传统方法相比，提供了更高的效率和可用性。

关键设计：在混合分割模块中，采用了Cellpose的几何提示与文本提示的结合，以增强分割精度；报告代理则设计了高效的指标计算和报告生成流程，确保输出的完整性和准确性。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果表明，MorphoOrgaAgent能够有效处理用户的明确和描述性请求，生成的测量结果与真实值的匹配度高达95%以上。此外，该系统能够在无需手动编程的情况下，自动生成完整的分析报告，显著提高了分析效率。

🎯 应用场景

MorphoOrgaAgent在生物医学研究中具有广泛的应用潜力，尤其是在肿瘤研究、药物测试和疾病模型分析等领域。通过简化数据分析流程，该系统能够帮助实验生物学家更高效地获取和分析类器官数据，推动相关研究的进展。未来，该技术还可能扩展到其他生物医学领域，提升数据处理的自动化水平。

📄 摘要（原文）

Organoids are three-dimensional tissue models whose morphology provides important insights into tumor development, disease progression, and drug testing. Extracting these morphological features relies heavily on manual segmentation, which is time-consuming and labor-intensive. Furthermore, performing quantitative statistical analysis typically requires custom coding skills and a mathematical background, presenting a major barrier for experimental biologists. To address these challenges, we introduce MorphoOrgaAgent, a multi-agent framework that achieves zero-shot organoid segmentation, automated data analysis, and report generation based on natural language input. The framework consists mainly of three core components: a TaskUnderstandingAgent that identifies requested measurements and visualization types; a hybrid segmentation module that combines Cellpose-derived geometric prompts with text prompts to guide SAM3 for zero-shot organoid instance segmentation; and a ReportAgent that computes quantitative metrics and compiles them alongside generated visualizations into a structured report. We further introduce MorphoOrgaVQA, a benchmark designed for quantitative evaluation of agent systems in organoid morphology analysis. Experimental results demonstrate that MorphoOrgaAgent handles both explicit and descriptive user requests, produces measurements closely matching ground truth, and generates complete analysis reports without requiring manual programming. The complete source code and MorphoOrgaVQA benchmark are publicly available at https://github.com/peng-lab/MorphoOrgaAgent.