Enhancing Cross-Grade Generalization in Banana Variety Classification via Hybrid CNN-Transformers and Knowledge Self-Distillation
作者: Khush Kataruka, Mohammad Muzammila, Zahid Akhtar, Raghavendra Ramachandra, Praveen Kumar Chandaliya
分类: cs.CV, cs.AI
发布日期: 2026-10-21
备注: 29 Pages, 9 Figures
💡 一句话要点
提出混合CNN-Transformer框架以解决香蕉品种跨等级分类问题
🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture)
关键词: 香蕉分类 跨等级泛化 混合模型 自蒸馏 深度学习 精准农业 特征对齐
📋 核心要点
- 现有的水果分类模型在面对不同质量等级时，泛化能力不足，难以适应实际应用中的领域转移。
- 本研究提出了一种双流混合框架，结合CNN和Transformer，通过KL散度自蒸馏方法来对齐特征表示。
- 实验结果显示，该混合框架的平均准确率达到81.25%，显著超越了传统模型，提升了特征转移性和优化稳定性。
📝 摘要（中文）
近年来，自动化水果分类系统在精准农业中变得愈发重要，然而在不同质量、成熟度、光照等条件下，仍面临诸多挑战。本研究针对香蕉品种的跨等级分类问题，提出了一种双流Swin ResNet混合框架，并结合基于KL散度的自蒸馏方法，以提高模型在未见等级上的泛化能力。通过严格的Leave-One-Grade-Out评估协议，使用31,678张香蕉图像的数据集进行比较分析，结果表明该混合框架的平均准确率达到81.25%，显著优于传统CNN和Transformer模型，且在特征转移性、注意力定位和优化稳定性方面表现出色。
🔬 方法详解
问题定义：本研究旨在解决香蕉品种的跨等级分类问题，现有方法在不同质量等级间的泛化能力不足，无法有效应对领域转移带来的挑战。
核心思路：提出一种双流Swin ResNet混合框架，结合CNN和Transformer的优势，通过KL散度自蒸馏方法来对齐两者的特征表示，从而提升模型的泛化能力。
技术框架：整体架构包括两个主要流：一个是基于CNN的流，另一个是基于Transformer的流。通过KL散度自蒸馏机制，模型在训练过程中不断优化特征对齐，增强了特征的可迁移性。
关键创新：最重要的创新在于引入了双流混合架构和KL散度自蒸馏方法，这种设计使得模型能够更好地学习到跨等级的特征表示，显著提升了分类性能。
关键设计：在模型设计中，采用了Swin Transformer作为基础结构，并在损失函数中引入KL散度，以优化特征对齐。此外，使用了大规模的香蕉图像数据集进行训练和评估，确保了模型的有效性和鲁棒性。
🖼️ 关键图片
📊 实验亮点
实验结果显示，提出的混合框架在跨等级香蕉品种分类任务中取得了81.25%的平均准确率，显著超越了传统的CNN和Transformer基线模型，表明该方法在特征转移性和优化稳定性方面具有显著优势。
🎯 应用场景
该研究的成果在精准农业领域具有广泛的应用潜力，能够帮助农民和农业企业更准确地进行水果分类，从而优化产量估算和质量控制。此外，研究方法的创新性也为其他农作物的分类问题提供了新的思路和解决方案。
📄 摘要（原文）
In recent years, automated fruit classification systems have become a more critical component in precision agriculture for efficient yield estimation, quality control, and supply chain optimization. However, they still face significant challenges under varying quality, fruit maturity, illumination, texture degradation, morphological attributes, domain shift, and post-harvest handling conditions. In this study, we address the challenging issue of cross-grade banana variety classification. This is a real-world setting where models that have been trained on specific quality grades must generalize to unseen grades to handle significant domain shift. Under a rigorous Leave-One-Grade-Out evaluation protocol, we present a thorough comparative analysis of CNNs, ViTs, and dual-stream hybrid architectures using a large-scale dataset of 31,678 banana images with three varieties and three quality grades. Specifically, to address the drawbacks of single-paradigm frameworks, we present a dual-stream Swin ResNet hybrid framework enhanced with KL-divergence-based self-distillation to align probabilistic feature representations across the CNN and Transformer streams. Comprehensive experimental analyzes show that the presented hybrid framework with KL-divergence based self-distillation achieves better overall performance, i.e., it attains a mean accuracy of 81.25% and significantly surpasses CNN and Transformer baseline models. Qualitative analysis further confirms that the hybrid framework in this study improves discriminative feature transferability, improves attention localization, and stabilizes optimization.