Forecasting the Number of Harvest-ready Fruits of Sweet Peppers Using Multimodal Time-Series Data
作者: Enrico Pallotta, Mohamed Farag, Esra Guclu, Chris McCool, Ribana Roscher, Juergen Gall
分类: cs.CV
发布日期: 2026-07-22
💡 一句话要点
提出多模态深度学习框架以提高甜椒果实产量预测精度
🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)
关键词: 多模态深度学习 产量预测 时间序列分析 长短期记忆网络 不确定性估计 精准农业 数据集发布
📋 核心要点
- 现有的产量预测方法缺乏同时包含视觉数据和单株测量标签的公共数据集，限制了精度。
- 论文提出了一种多模态深度学习框架，结合图像特征和数值计数，利用LSTM处理时间依赖性。
- 实验结果显示，该方法在两个生长季节中均显著降低了预测误差，并提供了不确定性校准。
📝 摘要（中文）
准确的单株产量预测对精准农业和供应链规划至关重要，但缺乏同时捕捉视觉生长动态和单株测量标签的公共数据集。本文引入了一个新颖的标注图像时间序列数据集，包含691株甜椒植物在两个生长季节的监测数据，共4837张图像，按成熟度分类的单株果实计数。我们提出了一种多模态深度学习框架，将使用DinoV3编码器提取的高维图像特征与数值计数测量相融合，利用长短期记忆网络（LSTM）建模时间依赖性，并处理温室监测中常见的不规则采样间隔。通过定量实验，我们证明该多模态方法在2022和2023年季节中分别比基线减少了33%和38%的均方根误差，并在测量模型上进一步获得了1.2%的平均增益。此外，我们采用深度集成和高斯负对数似然（NLL）提供校准的不确定性估计，确保为农业决策提供可靠的信心信号。
🔬 方法详解
问题定义：本文旨在解决甜椒单株果实产量预测的准确性问题。现有方法多依赖于单一数据源，缺乏综合考虑视觉和数值信息的能力，导致预测精度不足。
核心思路：我们提出的多模态深度学习框架通过融合高维图像特征与数值计数，利用LSTM网络建模时间序列数据中的依赖关系，从而提升预测的准确性和可靠性。
技术框架：整体架构包括数据采集、特征提取、模型训练和预测四个主要模块。首先，收集甜椒植物的图像和果实计数数据；然后，使用DinoV3编码器提取图像特征；接着，利用LSTM网络处理时间序列数据；最后，进行预测并输出结果。
关键创新：本研究的主要创新在于引入多模态数据融合技术，结合视觉信息和数值计数，显著提高了预测精度，与传统单一数据源方法相比，具有本质上的优势。
关键设计：在模型设计中，我们使用了LSTM网络来处理不规则的时间序列数据，并采用深度集成和高斯负对数似然（NLL）来提供不确定性估计，确保预测结果的可靠性。
🖼️ 关键图片
📊 实验亮点
实验结果表明，提出的多模态方法在2022和2023年季节中，均比基线模型降低了33%和38%的均方根误差，且在测量模型上进一步获得了1.2%的平均增益，显示出显著的性能提升。
🎯 应用场景
该研究的潜在应用领域包括精准农业、温室管理和供应链优化。通过提高果实产量预测的准确性，农民和农业企业可以更好地规划种植和收获，提高生产效率，减少资源浪费，最终实现可持续发展。
📄 摘要（原文）
Accurate yield forecasting at the individual-plant level is critical for precision agriculture and supply-chain planning, yet public datasets capturing both visual growth dynamics and per-plant measurement labels are scarce. In this paper, we introduce a novel, annotated image time-series dataset of 691 sweet pepper plants monitored over two growing seasons, comprising 4837 images with per-plant fruit counts categorized by maturity. We propose a multimodal deep learning framework that fuses high-dimensional image features, extracted using the DinoV3 encoder, with numerical count measurements. Our architecture utilizes a Long Short-Term Memory (LSTM) network to model temporal dependencies and handles irregular sampling intervals common in greenhouse monitoring. Through quantitative experiments, we demonstrate that this multimodal approach reduces RMSE over a persistence baseline by 33% and 38% in the 2022 and 2023 seasons, respectively, with a further 1.2% average gain over a measurement-only model. Furthermore, we employ Deep Ensembles and Gaussian Negative Log-Likelihood (NLL) to provide calibrated uncertainty estimates, with an Uncertainty Calibration Error (UCE) ranging from 0.39 to 0.89 depending on the cross-season evaluation direction, offering a principled confidence signal for real-world agricultural decision-making. We release the dataset and code to support reproducible research and to accelerate development of data-driven yield forecasting methods for horticultural crops.