AdaCropFollow: Self-Supervised Online Adaptation for Visual Under-Canopy Navigation
作者: Arun N. Sivakumar, Federico Magistri, Mateus V. Gasparino, Jens Behley, Cyrill Stachniss, Girish Chowdhary
分类: cs.RO, cs.CV
发布日期: 2024-10-16
💡 一句话要点
AdaCropFollow：面向作物下自主导航的自监督在线语义关键点自适应方法
🎯 匹配领域: 支柱一：机器人控制 (Robot Control)
关键词: 作物下导航 自监督学习 领域自适应 语义关键点 农业机器人
📋 核心要点
- 作物下自主导航面临RTK-GPS精度下降和视觉外观变化大的挑战，现有方法难以适应部署期间的领域迁移。
- AdaCropFollow利用视觉基础模型、几何先验和伪标签，实现语义关键点表示的自监督在线自适应。
- 实验表明，该方法能以少量数据和参数微调，使模型适应不同目标域，实现自主行跟随。
📝 摘要（中文）
本文提出了一种自监督在线自适应方法AdaCropFollow，用于解决作物下农业机器人在视觉导航中遇到的领域迁移问题。由于RTK-GPS精度下降以及场景视觉外观随时间变化较大，作物下自主导航极具挑战。该方法利用视觉基础模型、几何先验和伪标签，对语义关键点表示进行自适应调整。初步实验表明，通过少量数据和参数微调，使用源域标签训练的关键点预测模型可以通过自监督方式适应各种具有挑战性的目标域。这使得作物下机器人能够在无需人工干预的情况下，在不同田地和作物中实现完全自主的行跟随能力。
🔬 方法详解
问题定义：论文旨在解决作物下机器人导航中，由于环境变化导致的视觉感知模型性能下降问题。现有基于监督学习的感知系统，在部署过程中会遇到领域迁移，导致关键点预测失败，进而影响导航的可靠性。痛点在于模型无法适应新的作物类型、光照条件和生长阶段等变化。
核心思路：论文的核心思路是利用自监督学习，使模型能够在线适应新的环境。通过视觉基础模型提取特征，结合几何先验知识进行约束，并生成伪标签，从而在没有人工标注的情况下，对模型进行微调，使其适应目标域的视觉特征。
技术框架：AdaCropFollow方法包含以下主要模块：1) 使用视觉基础模型提取图像特征；2) 利用几何先验（例如，行结构的几何约束）对特征进行约束；3) 基于约束后的特征生成伪标签；4) 使用伪标签对关键点预测模型进行微调。整个过程以在线方式进行，即在机器人导航过程中不断收集数据并进行模型更新。
关键创新：该方法最重要的创新点在于利用自监督学习实现了视觉感知模型的在线自适应。与传统的离线训练和微调方法相比，该方法能够更有效地适应部署过程中遇到的领域迁移问题。此外，结合视觉基础模型和几何先验，提高了伪标签的质量，从而提升了自适应的效果。
关键设计：论文中可能涉及的关键设计包括：1) 视觉基础模型的选择和微调策略；2) 几何先验的具体形式和约束方式；3) 伪标签生成算法的细节；4) 用于微调关键点预测模型的损失函数和优化算法；5) 在线自适应的频率和数据收集策略。具体参数设置和网络结构等细节需要在论文中进一步查找。
🖼️ 关键图片
📊 实验亮点
初步实验表明，AdaCropFollow方法能够利用少量数据和参数微调，使关键点预测模型适应各种具有挑战性的目标域。该方法在作物下机器人上实现了自主行跟随能力，无需人工干预，验证了其在实际应用中的有效性。具体的性能数据和对比基线需要在论文中查找。
🎯 应用场景
该研究成果可应用于农业机器人自主导航，实现精准监测、喷洒、除草和植物操作等任务。通过提高机器人在复杂环境下的适应性，降低人工干预需求，提升农业生产效率，并为智慧农业发展提供技术支撑。未来可扩展到其他需要视觉导航的机器人应用场景，如林业、矿业等。
📄 摘要（原文）
Under-canopy agricultural robots can enable various applications like precise monitoring, spraying, weeding, and plant manipulation tasks throughout the growing season. Autonomous navigation under the canopy is challenging due to the degradation in accuracy of RTK-GPS and the large variability in the visual appearance of the scene over time. In prior work, we developed a supervised learning-based perception system with semantic keypoint representation and deployed this in various field conditions. A large number of failures of this system can be attributed to the inability of the perception model to adapt to the domain shift encountered during deployment. In this paper, we propose a self-supervised online adaptation method for adapting the semantic keypoint representation using a visual foundational model, geometric prior, and pseudo labeling. Our preliminary experiments show that with minimal data and fine-tuning of parameters, the keypoint prediction model trained with labels on the source domain can be adapted in a self-supervised manner to various challenging target domains onboard the robot computer using our method. This can enable fully autonomous row-following capability in under-canopy robots across fields and crops without requiring human intervention.