Advancing site-specific disease and pest management in precision agriculture: From reasoning-driven foundation models to adaptive, feedback-based learning

📄 arXiv: 2510.24650v1 📥 PDF

作者: Nitin Rai, Daeun, Choi, Nathan S. Boyd, Arnold W. Schumann

分类: cs.AI

发布日期: 2025-10-28

备注: 26 pages, 8 figures, and 2 tables

🔗 代码/项目: GITHUB

💡 一句话要点

利用推理驱动的基石模型，推进精准农业中特定地点的病虫害管理。

🎯 匹配领域: 支柱一：机器人控制 (Robot Control) 支柱二：RL算法与架构 (RL & Architecture) 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 精准农业 病虫害管理 基石模型 视觉-语言模型 深度学习 强化学习 数字孪生

📋 核心要点

  1. 现有方法依赖手工特征或传统神经网络，难以有效整合视觉和文本信息，限制了病虫害管理的智能化水平。
  2. 论文提出利用基石模型（FMs），特别是视觉-语言模型（VLMs），结合视觉和文本数据，实现症状理解和推理。
  3. 研究表明，VLMs在病虫害管理文献中增长迅速，但强化学习和自适应学习的应用仍处于初期阶段，人机协作有待加强。

📝 摘要（中文）

作物特定地点病害管理(SSDM)通过机器和深度学习(ML和DL)在实时计算机视觉方面取得了快速进展。研究从手工特征提取发展到大规模自动化特征学习。借助基石模型(FMs)，作物病害数据集现在以全新的方式进行处理。与传统的神经网络不同，FMs集成了视觉和文本数据，解释文本中的症状，推理症状-管理关系，并支持种植者和教育者的交互式问答。机器人技术中的自适应和模仿学习进一步实现了基于田间的病害管理。本文筛选了约40篇关于FM在SSDM中应用的文章，重点关注大型语言模型(LLMs)和视觉-语言模型(VLMs)，并讨论了它们在自适应学习(AL)、强化学习(RL)和用于靶向喷洒的数字孪生框架中的作用。主要发现包括：(a)FMs越来越受欢迎，2023-24年的文献激增；(b)VLMs超过了LLMs，出版物增加了5-10倍；(c)RL和AL对于智能喷洒仍处于起步阶段；(d)具有RL的数字孪生可以虚拟地模拟靶向喷洒；(e)解决sim-to-real差距对于实际部署至关重要；(f)人机协作仍然有限，尤其是在人机环路方法中，机器人检测早期症状，人类验证不确定的情况；(g)具有实时反馈的多模态FMs将推动下一代SSDM。有关更新、资源和贡献，请访问https://github.com/nitin-dominic/AgriPathogenDatabase，以提交论文、代码或数据集。

🔬 方法详解

问题定义：现有作物病虫害管理方法在整合多模态数据（视觉图像和文本描述）方面存在不足，难以进行有效的症状理解和推理，限制了精准农业的发展。传统方法依赖手工特征提取或浅层神经网络，泛化能力有限，难以适应复杂的田间环境。

核心思路：论文的核心思路是利用基石模型（Foundation Models），特别是视觉-语言模型（VLMs），将视觉图像和文本描述进行联合建模，从而实现对作物病虫害症状的深入理解和推理。通过整合多模态信息，模型可以更准确地识别病虫害类型，并为精准管理提供决策支持。

技术框架：该研究主要关注大型语言模型（LLMs）和视觉-语言模型（VLMs）在特定地点病虫害管理（SSDM）中的应用。整体框架涉及数据收集、模型训练、模型部署和反馈优化等环节。数字孪生框架结合强化学习（RL）用于模拟靶向喷洒，以优化喷洒策略。

关键创新：最重要的技术创新点在于利用基石模型进行多模态数据融合，实现了症状理解和推理能力的提升。与传统方法相比，基石模型能够自动学习特征，具有更强的泛化能力和适应性。此外，研究还探索了自适应学习（AL）和强化学习（RL）在智能喷洒中的应用。

关键设计：论文分析了大量关于基石模型在SSDM中应用的文章，重点关注VLMs和LLMs。研究强调了解决sim-to-real差距的重要性，并提出了人机协作的方法，即机器人检测早期症状，人类验证不确定的情况。具体的参数设置、损失函数和网络结构等技术细节在论文筛选的文章中有所体现，但未在摘要中详细说明。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

研究表明，视觉-语言模型（VLMs）在病虫害管理文献中增长迅速，出版物数量是大型语言模型（LLMs）的5-10倍，表明VLMs在这一领域具有更大的应用潜力。此外，研究强调了数字孪生与强化学习结合在模拟靶向喷洒方面的作用，以及解决sim-to-real差距对于实际部署的重要性。

🎯 应用场景

该研究成果可应用于精准农业领域，实现特定地点的病虫害精准管理。通过部署搭载视觉-语言模型的机器人，可以实时监测作物生长状况，识别病虫害症状，并根据模型推理结果进行靶向喷洒，从而减少农药使用，提高作物产量和质量。未来，该技术有望推广到其他农业领域，例如杂草控制和水肥管理。

📄 摘要（原文）

Site-specific disease management (SSDM) in crops has advanced rapidly through machine and deep learning (ML and DL) for real-time computer vision. Research evolved from handcrafted feature extraction to large-scale automated feature learning. With foundation models (FMs), crop disease datasets are now processed in fundamentally new ways. Unlike traditional neural networks, FMs integrate visual and textual data, interpret symptoms in text, reason about symptom-management relationships, and support interactive QA for growers and educators. Adaptive and imitation learning in robotics further enables field-based disease management. This review screened approx. 40 articles on FM applications for SSDM, focusing on large-language models (LLMs) and vision-language models (VLMs), and discussing their role in adaptive learning (AL), reinforcement learning (RL), and digital twin frameworks for targeted spraying. Key findings: (a) FMs are gaining traction with surging literature in 2023-24; (b) VLMs outpace LLMs, with a 5-10x increase in publications; (c) RL and AL are still nascent for smart spraying; (d) digital twins with RL can simulate targeted spraying virtually; (e) addressing the sim-to-real gap is critical for real-world deployment; (f) human-robot collaboration remains limited, especially in human-in-the-loop approaches where robots detect early symptoms and humans validate uncertain cases; (g) multi-modal FMs with real-time feedback will drive next-gen SSDM. For updates, resources, and contributions, visit, https://github.com/nitin-dominic/AgriPathogenDatabase, to submit papers, code, or datasets.