Plant Disease Detection through Multimodal Large Language Models and Convolutional Neural Networks
作者: Konstantinos I. Roumeliotis, Ranjan Sapkota, Manoj Karkee, Nikolaos D. Tselikas, Dimitrios K. Nasiopoulos
分类: cs.CV
发布日期: 2025-04-29
💡 一句话要点
结合多模态LLM与CNN，实现高精度植物叶片病害自动检测
🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)
关键词: 植物病害检测 多模态学习 大型语言模型 卷积神经网络 GPT-4o 精准农业 图像分类
📋 核心要点
- 农业自动化在作物监测和病害管理中至关重要，现有方法在早期检测方面仍面临挑战。
- 本研究提出结合GPT-4o等多模态LLM与CNN，利用叶片图像进行植物病害自动分类。
- 实验表明，微调后的GPT-4o模型在苹果叶片分类上精度高达98.12%，优于ResNet-50，且泛化性更强。
📝 摘要（中文）
本研究探讨了将多模态大型语言模型（LLM），特别是GPT-4o，与卷积神经网络（CNN）相结合，用于自动化植物病害分类的有效性，利用叶片图像作为输入。研究使用PlantVillage数据集，系统地评估了模型在零样本、少样本和渐进式微调场景下的性能。对GPT-4o和广泛使用的ResNet-50模型在三种分辨率（100、150和256像素）和两种植物物种（苹果和玉米）上进行了比较分析。结果表明，微调后的GPT-4o模型性能略优于ResNet-50，在苹果叶片图像上实现了高达98.12%的分类精度，而ResNet-50的精度为96.88%，同时泛化能力有所提高，训练损失接近于零。然而，GPT-4o的零样本性能显著较低，突出了最小训练的必要性。对跨分辨率和跨植物泛化的额外评估揭示了模型在应用于新领域时的适应性和局限性。研究结果突出了将多模态LLM集成到自动化疾病检测流程中的前景，增强了精准农业系统的可扩展性和智能性，同时减少了对大型标记数据集和高分辨率传感器基础设施的依赖。
🔬 方法详解
问题定义：论文旨在解决植物病害的自动检测问题，特别是利用叶片图像进行早期诊断。现有方法，如传统的图像处理和机器学习方法，通常需要大量标注数据和人工特征工程，泛化能力有限。深度学习方法，如CNN，虽然取得了较好的效果，但仍然依赖于大量高质量的训练数据，并且对于不同分辨率和植物种类的数据泛化能力有待提高。
核心思路：论文的核心思路是利用多模态大型语言模型（LLM）的强大表征学习能力和泛化能力，结合CNN的图像处理能力，构建一个更智能、更高效的植物病害检测系统。通过将图像信息和文本信息融合，LLM可以更好地理解图像内容，从而提高分类精度和泛化能力。
技术框架：整体框架包括以下几个主要步骤：1) 数据准备：使用PlantVillage数据集，包含苹果和玉米的叶片图像，并进行预处理，包括调整图像大小到不同的分辨率（100、150、256像素）。2) 模型选择：选择GPT-4o作为多模态LLM，ResNet-50作为CNN基线模型。3) 模型训练：分别对GPT-4o和ResNet-50进行零样本、少样本和渐进式微调。4) 性能评估：在不同分辨率和植物种类的数据上评估模型的分类精度、泛化能力和训练损失。
关键创新：最重要的技术创新点在于将多模态LLM（GPT-4o）应用于植物病害检测。与传统的CNN方法相比，LLM具有更强的表征学习能力和泛化能力，可以更好地处理不同分辨率和植物种类的数据。此外，通过结合图像和文本信息，LLM可以更好地理解图像内容，从而提高分类精度。
关键设计：关键设计包括：1) 使用PlantVillage数据集，该数据集包含多种植物病害的叶片图像，为模型训练提供了丰富的数据。2) 对GPT-4o进行微调，使其适应植物病害检测任务。3) 比较GPT-4o和ResNet-50在不同分辨率和植物种类的数据上的性能，评估模型的泛化能力。4) 评估模型的训练损失，了解模型的学习情况。
📊 实验亮点
实验结果表明，经过微调的GPT-4o模型在苹果叶片图像上的分类精度高达98.12%，优于ResNet-50的96.88%。此外，GPT-4o模型在跨分辨率和跨植物泛化方面也表现出一定的优势。值得注意的是，GPT-4o的零样本性能较低，表明需要进行一定程度的微调才能达到较好的效果。
🎯 应用场景
该研究成果可应用于精准农业领域，实现农作物病害的早期自动检测和诊断，减少农药使用，提高农作物产量和质量。该系统可部署在移动设备或无人机上，实现田间地头的实时监测。未来，该技术可扩展到其他农作物和病害的检测，并与其他农业管理系统集成，实现更智能化的农业生产。
📄 摘要（原文）
Automation in agriculture plays a vital role in addressing challenges related to crop monitoring and disease management, particularly through early detection systems. This study investigates the effectiveness of combining multimodal Large Language Models (LLMs), specifically GPT-4o, with Convolutional Neural Networks (CNNs) for automated plant disease classification using leaf imagery. Leveraging the PlantVillage dataset, we systematically evaluate model performance across zero-shot, few-shot, and progressive fine-tuning scenarios. A comparative analysis between GPT-4o and the widely used ResNet-50 model was conducted across three resolutions (100, 150, and 256 pixels) and two plant species (apple and corn). Results indicate that fine-tuned GPT-4o models achieved slightly better performance compared to the performance of ResNet-50, achieving up to 98.12% classification accuracy on apple leaf images, compared to 96.88% achieved by ResNet-50, with improved generalization and near-zero training loss. However, zero-shot performance of GPT-4o was significantly lower, underscoring the need for minimal training. Additional evaluations on cross-resolution and cross-plant generalization revealed the models' adaptability and limitations when applied to new domains. The findings highlight the promise of integrating multimodal LLMs into automated disease detection pipelines, enhancing the scalability and intelligence of precision agriculture systems while reducing the dependence on large, labeled datasets and high-resolution sensor infrastructure. Large Language Models, Vision Language Models, LLMs and CNNs, Disease Detection with Vision Language Models, VLMs