VisioFirm: Cross-Platform AI-assisted Annotation Tool for Computer Vision
作者: Safouane El Ghazouali, Umberto Michelucci
分类: cs.CV, cs.AI
发布日期: 2025-09-04
🔗 代码/项目: GITHUB
💡 一句话要点
VisioFirm：一款跨平台AI辅助的计算机视觉标注工具
🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)
关键词: 图像标注 AI辅助标注 计算机视觉 目标检测 实例分割 零样本学习 开源工具
📋 核心要点
- 现有计算机视觉标注工具需要大量人工，效率低下，难以扩展到大型数据集。
- VisioFirm利用AI辅助自动化，集成CLIP、Ultralytics和Grounding DINO等模型，减少人工标注工作量。
- 实验表明，VisioFirm在多种数据集上可减少高达90%的手动工作量，同时保持高标注精度。
📝 摘要（中文）
AI模型依赖于标注数据进行模式学习和预测。标注通常是劳动密集型步骤，需要将标签与图像关联，任务范围从简单的分类标签到更复杂的任务，如目标检测、定向边界框估计和实例分割。传统工具通常需要大量手动输入，限制了大型数据集的可扩展性。为了解决这个问题，我们推出了VisioFirm，一个开源Web应用程序，旨在通过AI辅助自动化来简化图像标注。VisioFirm将最先进的基础模型集成到一个带有过滤管道的界面中，以减少人工干预。这种混合方法采用CLIP结合预训练检测器（如Ultralytics模型，用于常见类别）和零样本模型（如Grounding DINO，用于自定义标签），生成具有低置信度阈值的初始标注，以最大化召回率。通过这个框架，在COCO类型的类别上测试时，初始预测已被证明大部分是正确的，用户可以通过支持边界框、定向边界框和多边形的交互式工具来改进这些预测。此外，VisioFirm具有由Segment Anything驱动的即时分割功能，并通过WebGPU加速以提高浏览器端效率。该工具支持多种导出格式（YOLO、COCO、Pascal VOC、CSV），并在模型缓存后离线运行，从而增强了可访问性。通过对不同数据集的基准测试，VisioFirm证明了手动工作量减少高达90％，同时通过基于CLIP的连接组件聚类和IoU图进行冗余检测抑制，保持了高标注精度。VisioFirm可以从https://github.com/OschAI/VisioFirm访问。
🔬 方法详解
问题定义：论文旨在解决计算机视觉领域中，数据标注效率低下的问题。现有标注工具需要大量人工干预，耗时耗力，难以满足大规模数据集的需求。尤其是在目标检测、实例分割等复杂任务中，标注工作更加繁琐。
核心思路：论文的核心思路是利用AI模型辅助标注，通过预训练模型和零样本学习能力，自动生成初始标注，然后由人工进行校正和完善。这种人机结合的方式可以显著减少人工标注的工作量，提高标注效率。
技术框架：VisioFirm的整体架构包含以下几个主要模块：1) 数据导入模块：支持多种图像格式的导入。2) AI辅助标注模块：集成CLIP、Ultralytics模型和Grounding DINO等模型，用于生成初始标注。3) 人工校正模块：提供交互式工具，允许用户对初始标注进行修改和完善，支持边界框、定向边界框和多边形等标注类型。4) 数据导出模块：支持多种标注格式的导出，如YOLO、COCO、Pascal VOC和CSV。5) 浏览器端加速模块：使用WebGPU加速Segment Anything模型，提高分割效率。
关键创新：VisioFirm的关键创新在于将多种AI模型集成到一个统一的标注平台中，并利用这些模型的优势互补，实现更高效的标注。例如，使用CLIP模型进行图像检索和相似性聚类，使用Ultralytics模型检测常见物体，使用Grounding DINO模型进行零样本目标检测。此外，VisioFirm还采用了低置信度阈值和冗余检测抑制等技术，进一步提高了标注质量。
关键设计：VisioFirm的关键设计包括：1) 低置信度阈值：为了最大化召回率，初始标注采用较低的置信度阈值，尽可能多地检测出潜在的目标。2) 冗余检测抑制：使用IoU图对冗余检测结果进行抑制，避免重复标注。3) 基于CLIP的连接组件聚类：将相似的图像区域聚类在一起，减少人工标注的工作量。4) WebGPU加速：使用WebGPU加速Segment Anything模型，提高浏览器端的分割效率。
🖼️ 关键图片
📊 实验亮点
VisioFirm在不同数据集上的基准测试表明，它可以减少高达90%的手动工作量，同时保持高标注精度。通过集成CLIP、Ultralytics和Grounding DINO等模型，VisioFirm能够自动生成高质量的初始标注，显著提高标注效率。此外，VisioFirm还支持多种标注格式的导出，方便用户在不同的AI框架中使用。
🎯 应用场景
VisioFirm可广泛应用于计算机视觉领域的各种任务，如自动驾驶、智能安防、医疗影像分析等。它可以帮助研究人员和工程师快速构建高质量的标注数据集，从而加速AI模型的开发和部署。该工具的开源特性也使其易于定制和扩展，以满足不同应用场景的需求。
📄 摘要（原文）
AI models rely on annotated data to learn pattern and perform prediction. Annotation is usually a labor-intensive step that require associating labels ranging from a simple classification label to more complex tasks such as object detection, oriented bounding box estimation, and instance segmentation. Traditional tools often require extensive manual input, limiting scalability for large datasets. To address this, we introduce VisioFirm, an open-source web application designed to streamline image labeling through AI-assisted automation. VisioFirm integrates state-of-the-art foundation models into an interface with a filtering pipeline to reduce human-in-the-loop efforts. This hybrid approach employs CLIP combined with pre-trained detectors like Ultralytics models for common classes and zero-shot models such as Grounding DINO for custom labels, generating initial annotations with low-confidence thresholding to maximize recall. Through this framework, when tested on COCO-type of classes, initial prediction have been proven to be mostly correct though the users can refine these via interactive tools supporting bounding boxes, oriented bounding boxes, and polygons. Additionally, VisioFirm has on-the-fly segmentation powered by Segment Anything accelerated through WebGPU for browser-side efficiency. The tool supports multiple export formats (YOLO, COCO, Pascal VOC, CSV) and operates offline after model caching, enhancing accessibility. VisioFirm demonstrates up to 90\% reduction in manual effort through benchmarks on diverse datasets, while maintaining high annotation accuracy via clustering of connected CLIP-based disambiguate components and IoU-graph for redundant detection suppression. VisioFirm can be accessed from \href{https://github.com/OschAI/VisioFirm}{https://github.com/OschAI/VisioFirm}.