FrontVeg V2: A Training-Free Software Framework for Foreground-Aware Zero-Shot Plant Trait Segmentation in High-Resolution Images of Trellised Crops

📄 arXiv: 2610.06575v1 📥 PDF

作者: Abdoul Djalil Ousseini Hamza, Herearii Metuarea, Corentin Lothod{é}, Morgane Roth, Jacem Ben Hamden, Eric Duch{ê}ne, Lionel Ley, David Alletru, David Rousseau

分类: cs.CV

发布日期: 2026-10-05

💡 一句话要点

提出FrontVeg V2以解决高分辨率作物图像中的植物特征分割问题

🎯 匹配领域: 支柱三：空间感知与语义 (Perception & Semantics)

关键词: 植物特征分割 数字表型 无训练框架 高分辨率图像 前景感知 零-shot学习 农业监测

📋 核心要点

  1. 现有植物特征分割方法在处理高分辨率图像时，常常受到邻近植被的干扰，导致分割精度下降。
  2. FrontVeg V2提出了一种无训练的框架，通过结合多种技术实现前景感知的零-shot分割，提升了分割效果。
  3. 实验结果表明，FrontVeg V2在多作物和多特征的数字表型任务中表现优异，显著减少了误检率。

📝 摘要（中文）

FrontVeg V2是一个开源的、无训练的软件框架，旨在对高分辨率的支架作物图像进行前景感知的零-shot植物特征分割。该管道结合了单目深度估计、基于谷地的深度阈值自动前景提取、平铺零-shot分割、基于图的掩膜组装和几何感知融合。这种设计能够有效分割植物器官和病害症状，同时减少来自邻近植被行的干扰检测。当前实现集成了Depth Anything V2 (DAV2)和SAM3，并可通过命令行批处理和Napari图形界面使用。FrontVeg V2为多作物、多特征的数字表型提供了可重用的框架，无需特定任务的模型重训练。

🔬 方法详解

问题定义：本论文旨在解决高分辨率支架作物图像中植物特征的分割问题。现有方法在处理此类图像时，往往受到邻近植被的干扰，导致分割结果不准确。

核心思路：FrontVeg V2的核心思路是通过无训练的框架实现前景感知的零-shot分割，结合多种技术手段以提高分割精度和效率。

技术框架：该框架的整体架构包括单目深度估计、基于谷地的深度阈值前景提取、平铺零-shot分割、基于图的掩膜组装和几何感知融合等主要模块。

关键创新：FrontVeg V2的关键创新在于其无训练的设计理念，使得用户无需进行特定任务的模型重训练即可实现高效的植物特征分割。这一设计大大简化了使用流程。

关键设计：在技术细节上，FrontVeg V2集成了Depth Anything V2 (DAV2)和SAM3，并支持命令行批处理和Napari图形界面，提供灵活的使用方式。

🖼️ 关键图片

img_0
img_1
img_2

📊 实验亮点

实验结果显示，FrontVeg V2在多作物和多特征的数字表型任务中，显著提高了分割精度，减少了误检率，验证了其在实际应用中的有效性和可靠性。

🎯 应用场景

FrontVeg V2的潜在应用领域包括农业监测、植物病害检测和数字表型分析等。其无训练的特性使得该框架能够快速适应不同作物和特征的需求，具有广泛的实际价值和未来影响。

📄 摘要（原文）

FrontVeg V2 is an open-source, training-free software framework for foregroundaware zero-shot segmentation of plant traits in high-resolution images of trellised crops. The pipeline combines monocular depth estimation, automatic foreground extraction using Valley-Aware Depth Thresholding, tiled zero-shot segmentation, Graph-Based Mask Assembly, and geometry-aware fusion. This design enables plant organs and disease symptoms to be segmented while reducing detections arising from neighboring vegetation rows. The current implementation integrates Depth Anything V2 (DAV2) and SAM3 and can be used through both command-line batch processing and a Napari graphical interface. FrontVeg V2 provides a reusable framework for multi-crop, multi-trait digital phenotyping without task-specific model retraining.