AgRowStitch: A High-fidelity Image Stitching Pipeline for Ground-based Agricultural Images
作者: Isaac Kazuo Uyehara, Heesup Yun, Earl Ranario, Mason Earles
分类: cs.CV
发布日期: 2025-03-27
💡 一句话要点
AgRowStitch：针对地面农业图像的高保真图像拼接流程，无需额外数据。
🎯 匹配领域: 支柱六：视频提取与匹配 (Video Extraction)
关键词: 图像拼接 农业图像 地面机器人 特征匹配 相机运动约束 精准农业 镶嵌图生成
📋 核心要点
- 农业图像拼接面临重复纹理、植物非平面性和累积误差等挑战，现有方法难以有效处理近距离作物图像。
- AgRowStitch提出了一种无需额外数据的地面农业图像拼接流程，通过特征匹配和相机运动约束实现高精度拼接。
- 实验结果表明，该流程在不同农业机器人和手动采集的图像上均能生成高质量镶嵌图，地理参考平均绝对误差为20厘米。
📝 摘要（中文）
农业图像分析通常需要将多张图像拼接成完整的镶嵌图。然而，由于重复纹理导致特征匹配困难，植物非平面性以及由多张图像构建的镶嵌图会累积误差导致漂移，农业图像的拼接极具挑战性。虽然可以使用地理参考图像或在高空拍摄图像来缓解这些问题，但对于近距离拍摄的作物图像，目前还没有通用的解决方案。为此，我们创建了一个用户友好且开源的流程，用于拼接线性排列的作物行的地面图像，该流程不依赖于额外的数据。首先，我们使用SuperPoint和LightGlue来提取和匹配小批量图像中的特征。然后，我们在对相机运动施加约束的同时，串联拼接每个批次的图像。在校正和重新缩放每个批次的镶嵌图后，将所有批次的镶嵌图串联拼接在一起，然后校正成最终的镶嵌图。我们使用两种不同的农业机器人和一个手动携带的相机，沿着72米长的作物行收集图像，并在这些图像上测试了该流程。在所有三种情况下，该流程都生成了高质量的镶嵌图，可用于地理参考真实世界的位置，平均绝对误差为20厘米。这种方法为需要粗略地理参考行内位置，但无法获得准确位置数据或复杂成像系统的用户提供了可访问的叶片级拼接。
🔬 方法详解
问题定义：论文旨在解决地面农业图像拼接问题，特别是针对线性排列的作物行。现有方法在处理近距离拍摄的、具有重复纹理的农业图像时，容易出现特征匹配错误和累积误差，导致拼接精度下降，并且通常依赖于额外的地理参考数据或复杂的成像系统。
核心思路：论文的核心思路是利用SuperPoint和LightGlue进行特征提取和匹配，并结合相机运动约束，分批次进行图像拼接，最后将所有批次的镶嵌图进行校正和拼接，从而实现高精度的地面农业图像拼接。这种方法避免了对额外数据的依赖，并且能够有效处理重复纹理和累积误差。
技术框架：AgRowStitch流程主要包括以下几个阶段： 1. 特征提取与匹配：使用SuperPoint提取图像特征，并使用LightGlue进行特征匹配。 2. 分批次拼接：将图像分成小批量，在每个批次内进行图像拼接，并施加相机运动约束。 3. 批次镶嵌图校正：对每个批次的镶嵌图进行校正和重新缩放。 4. 整体拼接与校正：将所有批次的镶嵌图串联拼接在一起，然后校正成最终的镶嵌图。
关键创新：该方法的主要创新在于： 1. 无需额外数据：该流程不依赖于额外的地理参考数据或复杂的成像系统，适用于资源有限的应用场景。 2. 相机运动约束：在分批次拼接过程中，施加相机运动约束，可以有效减少累积误差，提高拼接精度。 3. 分批次处理：将图像分成小批量进行处理，可以降低计算复杂度，提高处理效率。
关键设计： 1. SuperPoint和LightGlue：选择SuperPoint进行特征提取，因为它在重复纹理场景下表现良好；选择LightGlue进行特征匹配，因为它具有较高的匹配精度。 2. 相机运动约束：具体约束类型和参数未知，但其目的是限制相邻图像之间的相对位姿变化，从而减少累积误差。 3. 批次大小：批次大小的选择需要根据图像数量和计算资源进行权衡，具体数值未知。
🖼️ 关键图片
📊 实验亮点
该论文在72米长的作物行图像上进行了实验，分别使用两种农业机器人和手动携带相机采集图像。实验结果表明，AgRowStitch流程能够生成高质量的镶嵌图，并且能够以平均绝对误差20厘米的精度对真实世界的位置进行地理参考。这一结果表明该方法具有较高的精度和鲁棒性，能够满足实际应用的需求。
🎯 应用场景
该研究成果可广泛应用于精准农业领域，例如作物生长监测、病虫害检测、产量预测等。通过高精度图像拼接，可以生成大范围的作物行镶嵌图，为农业研究人员和农民提供更全面的信息，从而优化农业生产管理，提高农业生产效率。该方法无需额外数据，降低了应用门槛，具有很高的实际应用价值。
📄 摘要（原文）
Agricultural imaging often requires individual images to be stitched together into a final mosaic for analysis. However, agricultural images can be particularly challenging to stitch because feature matching across images is difficult due to repeated textures, plants are non-planar, and mosaics built from many images can accumulate errors that cause drift. Although these issues can be mitigated by using georeferenced images or taking images at high altitude, there is no general solution for images taken close to the crop. To address this, we created a user-friendly and open source pipeline for stitching ground-based images of a linear row of crops that does not rely on additional data. First, we use SuperPoint and LightGlue to extract and match features within small batches of images. Then we stitch the images in each batch in series while imposing constraints on the camera movement. After straightening and rescaling each batch mosaic, all batch mosaics are stitched together in series and then straightened into a final mosaic. We tested the pipeline on images collected along 72 m long rows of crops using two different agricultural robots and a camera manually carried over the row. In all three cases, the pipeline produced high-quality mosaics that could be used to georeference real world positions with a mean absolute error of 20 cm. This approach provides accessible leaf-scale stitching to users who need to coarsely georeference positions within a row, but do not have access to accurate positional data or sophisticated imaging systems.