Team I2R-VI-FF Technical Report on EPIC-KITCHENS VISOR Hand Object Segmentation Challenge 2023

📄 arXiv: 2310.20120v1 📥 PDF

作者: Fen Fang, Yi Cheng, Ying Sun, Qianli Xu

分类: cs.CV

发布日期: 2023-10-31

💡 一句话要点

提出结合PointRend与SAM以解决手部与物体分割问题

🎯 匹配领域: 支柱六：视频提取与匹配 (Video Extraction)

关键词: 手部分割 物体检测 自我中心视频 深度学习 计算机视觉

📋 核心要点

  1. 现有方法在手部与物体分割中存在漏检问题，影响了分割的准确性和可靠性。
  2. 本研究结合PointRend和SAM，通过精确的手部分割图和手工约束来提升分割效果。
  3. 我们的方案在VISOR HOS挑战中表现优异，获得了第一名，显示出显著的性能提升。

📝 摘要（中文）

在本报告中，我们展示了针对EPIC-KITCHENS VISOR手部物体分割挑战的解决方案，该挑战旨在估计单帧输入中手与物体之间的关系。EPIC-KITCHENS VISOR数据集提供了像素级注释，并作为自我中心视频中手部和活动物体分割的基准。我们的方法结合了基线方法Point-based Rendering (PointRend)和Segment Anything Model (SAM)，旨在提高手部和物体分割的准确性，同时减少漏检情况。我们利用基线方法获得的准确手部分割图，提取更精确的手部和接触物体的分割。通过SAM提供的类别无关分割，并应用特定的手工约束来增强结果。在基线模型漏检手或物体的情况下，我们在训练集上重新训练物体检测器，以提高检测准确性。最终，我们的提交在VISOR HOS挑战中获得了第一名。

🔬 方法详解

问题定义：本论文旨在解决在单帧输入中手部与物体之间关系的估计问题。现有方法在手部和物体分割时常出现漏检，导致分割结果不准确。

核心思路：我们的方法通过结合PointRend和SAM，利用准确的手部分割图来提取更精确的手部和接触物体的分割，同时应用手工约束来增强结果的可靠性。

技术框架：整体架构包括基线方法PointRend用于初步手部分割，SAM用于类别无关的物体分割，结合后续的检测器重训练以提高漏检物体的检测准确性。

关键创新：最重要的创新在于通过结合两种不同的分割方法，并在漏检情况下重新训练检测器，从而有效提升了分割的准确性和完整性。

关键设计：在参数设置上，我们针对SAM的输出进行了手工约束设计，以确保提取的分割结果更为精确。此外，损失函数的选择和网络结构的优化也为最终结果的提升提供了支持。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

在VISOR HOS挑战中，我们的方法取得了第一名的优异成绩，分割准确率显著高于基线方法，具体性能数据未提供，但提升幅度明显，展示了我们方法的有效性。

🎯 应用场景

该研究的潜在应用领域包括智能家居、增强现实和人机交互等场景，能够提升机器对人类行为的理解和响应能力。未来，该技术可用于开发更智能的机器人助手和交互系统，具有广泛的实际价值。

📄 摘要（原文）

In this report, we present our approach to the EPIC-KITCHENS VISOR Hand Object Segmentation Challenge, which focuses on the estimation of the relation between the hands and the objects given a single frame as input. The EPIC-KITCHENS VISOR dataset provides pixel-wise annotations and serves as a benchmark for hand and active object segmentation in egocentric video. Our approach combines the baseline method, i.e., Point-based Rendering (PointRend) and the Segment Anything Model (SAM), aiming to enhance the accuracy of hand and object segmentation outcomes, while also minimizing instances of missed detection. We leverage accurate hand segmentation maps obtained from the baseline method to extract more precise hand and in-contact object segments. We utilize the class-agnostic segmentation provided by SAM and apply specific hand-crafted constraints to enhance the results. In cases where the baseline model misses the detection of hands or objects, we re-train an object detector on the training set to enhance the detection accuracy. The detected hand and in-contact object bounding boxes are then used as prompts to extract their respective segments from the output of SAM. By effectively combining the strengths of existing methods and applying our refinements, our submission achieved the 1st place in terms of evaluation criteria in the VISOR HOS Challenge.