MCLC-NET: Multimodal Continual Learning for Leaf Counting

📄 arXiv: 2609.18129v1 📥 PDF

作者: Ruchi Bhatt, Pratibha Kumari, Shreya Bansal, Vedant Agnihotri, Dwarikanath Mahapatra, Mukesh Saini

分类: cs.CV, cs.LG

发布日期: 2026-09-16

💡 一句话要点

提出MCLC-NET以解决多模态持续学习的叶片计数问题

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 多模态学习 持续学习 叶片计数 植物表型 深度学习 数据集构建

📋 核心要点

  1. 现有叶片计数方法多依赖RGB图像，受遮挡和光照变化影响，性能不稳定。
  2. MCLC-NET通过多模态持续学习框架，采用记忆策略顺序学习任务，有效应对数据收集的时序性。
  3. 实验结果显示，MCLC-NET在不同任务顺序中均表现优异，显著降低了平均均方误差。

📝 摘要（中文）

叶片计数是植物表型分析中的重要任务，用于监测植物生长和估算作物产量。现有方法多依赖RGB图像，但在遮挡、光照变化等现实挑战下表现不佳。本文提出MCLC-NET，一个多模态持续学习框架，能够顺序学习任务，并通过记忆缓冲区保留重要样本。此外，本文还引入了MMLC数据集，包含RGB、深度和热成像图像，适用于领域增量场景。实验结果表明，MCLC-NET在所有任务顺序中均优于现有方法，最低平均均方误差为0.675±0.027、0.542±0.069和0.745±0.057。

🔬 方法详解

问题定义：本文旨在解决多模态叶片计数中的持续学习问题，现有方法通常假设所有训练数据同时可用，这在实际农业环境中并不现实。

核心思路：MCLC-NET通过记忆缓冲区保留重要样本，支持顺序学习，能够在不同时间和条件下有效利用多模态数据。

技术框架：MCLC-NET的整体架构包括数据输入模块（RGB、深度和热成像）、记忆模块（用于存储和检索重要样本）以及学习模块（用于任务的顺序学习）。

关键创新：MCLC-NET的核心创新在于引入了多模态持续学习框架，能够在不同任务间有效转移知识，克服了传统方法的局限性。

关键设计：在网络结构上，采用了适应性损失函数以平衡不同模态的贡献，并通过超参数调优确保模型在不同环境下的稳定性。实验中使用的MMLC数据集为模型训练提供了丰富的多样性。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果表明，MCLC-NET在三种任务顺序下均优于现有方法，最低平均均方误差分别为0.675±0.027、0.542±0.069和0.745±0.057，显示出显著的性能提升，验证了其有效性。

🎯 应用场景

该研究具有广泛的应用潜力，尤其在农业监测和作物管理中，通过准确的叶片计数，可以帮助农民优化作物生长策略和提高产量预估的准确性。未来，该方法还可扩展到其他植物表型分析任务中，推动农业智能化发展。

📄 摘要（原文）

Leaf counting is an important task in plant phenotyping for monitoring plant growth and estimating crop yield. Most existing methods rely on RGB images, but their performance is often affected by occlusion, lighting variations, and other real-world challenges. Additional modalities, such as depth and thermal images, can provide useful complementary information. However, multimodal leaf counting remains underexplored. Also, many existing methods assume that all training data are available simultaneously, which is impractical in real agricultural settings, where data is collected over time from multiple sources. To address these challenges, we propose MCLC-NET, a multimodal continual learning framework for leaf counting. It learns tasks sequentially using a memory-based strategy with a memory buffer to retain important samples from previous tasks. We also introduce MMLC, a real-world multimodal leaf-counting dataset designed for a domain incremental scenario (DIS) in CL. It contains RGB, depth, and thermal images collected across different crop types under varying environmental conditions, arranged in three orderings: crop-wise, time-wise, and mixed. Experimental results, averaged over three random seeds, demonstrate that MCLC-NET consistently outperforms existing methods across all three task orderings, achieving the lowest AMSE of 0.675$\pm$0.027, 0.542$\pm$0.069, and 0.745$\pm$0.057, respectively.