Multimodal Data Integration for Sustainable Indoor Gardening: Tracking Anyplant with Time Series Foundation Model
作者: Seyed Hamidreza Nabaei, Zeyang Zheng, Dong Chen, Arsalan Heydarian
分类: cs.CV, cs.CE, cs.LG
发布日期: 2025-03-27
备注: Accepted at ASCE International Conference on Computing in Civil Engineering (i3ce)
💡 一句话要点
利用多模态数据融合与时间序列模型Anyplant，实现可持续室内园艺的植物健康监测。
🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture) 支柱九：具身大模型 (Embodied Foundation Models)
关键词: 多模态融合 时间序列预测 室内园艺 植物健康监测 计算机视觉 可持续农业
📋 核心要点
- 现有室内园艺植物监测方法缺乏多模态数据融合，难以准确预测植物健康状况和水分胁迫。
- 提出Anyplant框架，融合RGB图像、植物表型和环境数据，利用Lag-Llama时间序列模型预测植物水分胁迫。
- 实验表明，Anyplant框架显著提升了预测精度，微调模型实现了更低的误差和不确定性，验证了多模态融合的有效性。
📝 摘要（中文）
本文提出了一种新颖的框架，该框架集成了计算机视觉、机器学习和环境感知技术，用于自动监测植物的健康和生长，旨在解决城市粮食安全和环境可持续性问题。该框架结合了RGB图像、植物表型数据以及温度和湿度等环境因素，以预测受控生长环境中的植物水分胁迫。系统利用高分辨率相机提取表型特征，如RGB、植物面积、高度和宽度，并采用Lag-Llama时间序列模型来分析和预测水分胁迫。实验结果表明，集成RGB、尺寸比和环境数据显著提高了预测精度，微调模型实现了最低的误差（MSE = 0.420777，MAE = 0.595428）并降低了不确定性。这些发现突出了多模态数据和智能系统在自动化植物护理、优化资源消耗以及使室内园艺与可持续建筑管理实践相一致方面的潜力，为具有弹性的绿色城市空间铺平了道路。
🔬 方法详解
问题定义：论文旨在解决可持续室内园艺中植物健康和生长状态的自动监测问题，特别是植物水分胁迫的预测。现有方法通常依赖单一模态数据（如图像或环境传感器数据），难以全面评估植物状态，导致预测精度不足，无法有效指导资源优化和自动化植物护理。
核心思路：论文的核心思路是利用多模态数据融合，将RGB图像提供的表型信息、植物尺寸信息以及环境传感器提供的温度、湿度等信息相结合，构建更全面的植物状态表征。通过融合不同模态的数据，可以弥补单一模态信息的不足，提高预测的准确性和鲁棒性。
技术框架：该框架主要包含三个模块：1) 数据采集模块，使用高分辨率相机采集RGB图像，并提取植物的表型特征（如面积、高度、宽度）；同时，利用环境传感器采集温度和湿度等环境数据。2) 特征提取与融合模块，对RGB图像进行处理，提取颜色特征，并计算植物的尺寸比；将提取的表型特征和环境数据进行融合。3) 水分胁迫预测模块，使用Lag-Llama时间序列模型对融合后的数据进行分析和预测，输出植物的水分胁迫程度。
关键创新：该论文的关键创新在于多模态数据融合策略和Lag-Llama时间序列模型的应用。传统方法通常只使用单一模态数据，而该论文将多种模态的数据进行有效融合，提高了预测精度。Lag-Llama模型能够有效处理时间序列数据，捕捉植物生长过程中的动态变化，从而更准确地预测水分胁迫。
关键设计：在数据融合方面，论文采用了简单的拼接方式，将不同模态的特征向量连接起来。在时间序列模型方面，使用了Lag-Llama模型，该模型是一种基于Transformer的自回归模型，能够有效处理长序列数据。损失函数使用了均方误差（MSE）和平均绝对误差（MAE）来评估预测结果的准确性。模型通过微调（Fine-tuning）的方式进行训练，以适应特定的植物生长环境。
📊 实验亮点
实验结果表明，集成RGB图像、尺寸比和环境数据后，预测精度显著提高。微调后的Lag-Llama模型取得了最低的误差，MSE为0.420777，MAE为0.595428，表明该方法能够有效预测植物的水分胁迫程度，并降低预测的不确定性。相较于仅使用单一模态数据的方法，该方法具有明显的优势。
🎯 应用场景
该研究成果可应用于智能温室、垂直农场、家庭园艺等领域，实现植物生长状态的实时监测和精准调控。通过优化灌溉策略，减少水资源浪费，降低运营成本，提高产量和质量。同时，该技术也有助于推动可持续农业发展，提升城市粮食自给能力，改善城市生态环境。
📄 摘要（原文）
Indoor gardening within sustainable buildings offers a transformative solution to urban food security and environmental sustainability. By 2030, urban farming, including Controlled Environment Agriculture (CEA) and vertical farming, is expected to grow at a compound annual growth rate (CAGR) of 13.2% from 2024 to 2030, according to market reports. This growth is fueled by advancements in Internet of Things (IoT) technologies, sustainable innovations such as smart growing systems, and the rising interest in green interior design. This paper presents a novel framework that integrates computer vision, machine learning (ML), and environmental sensing for the automated monitoring of plant health and growth. Unlike previous approaches, this framework combines RGB imagery, plant phenotyping data, and environmental factors such as temperature and humidity, to predict plant water stress in a controlled growth environment. The system utilizes high-resolution cameras to extract phenotypic features, such as RGB, plant area, height, and width while employing the Lag-Llama time series model to analyze and predict water stress. Experimental results demonstrate that integrating RGB, size ratios, and environmental data significantly enhances predictive accuracy, with the Fine-tuned model achieving the lowest errors (MSE = 0.420777, MAE = 0.595428) and reduced uncertainty. These findings highlight the potential of multimodal data and intelligent systems to automate plant care, optimize resource consumption, and align indoor gardening with sustainable building management practices, paving the way for resilient, green urban spaces.