GlovEgo-HOI: Bridging the Synthetic-to-Real Gap for Industrial Egocentric Human-Object Interaction Detection

📄 arXiv: 2601.09528v1 📥 PDF

作者: Alfio Spoto, Rosario Leonardi, Francesco Ragusa, Giovanni Maria Farinella

分类: cs.CV

发布日期: 2026-01-14

备注: 8 pages, accepted as a Short Paper at VISAPP 2026

💡 一句话要点

提出GlovEgo-HOI数据集和GlovEgo-Net模型，解决工业场景下EHOI检测数据稀缺问题。

🎯 匹配领域: 支柱五：交互与反应 (Interaction & Reaction) 支柱六：视频提取与匹配 (Video Extraction)

关键词: EHOI检测 人-物交互 工业安全 合成数据 扩散模型 手部姿势估计 数据增强

📋 核心要点

  1. 工业场景EHOI分析对安全至关重要，但缺乏标注数据限制了模型发展。
  2. 结合合成数据和扩散模型，增强真实图像中的PPE，生成更真实的数据。
  3. 提出GlovEgo-Net，利用手部姿态信息提升交互检测性能，实验验证有效性。

📝 摘要（中文）

在工业安全领域，以自我为中心的人-物交互(EHOI)分析至关重要，但缺乏带标注的领域特定数据阻碍了鲁棒模型的开发。为了解决这个问题，我们提出了一个数据生成框架，该框架结合了合成数据和基于扩散的过程，以增强真实图像中个人防护装备(PPE)的真实感。我们提出了一个新的工业EHOI基准数据集GlovEgo-HOI，以及一个集成了Glove-Head和Keypoint-Head模块的GlovEgo-Net模型，该模型利用手部姿势信息来增强交互检测。大量的实验证明了所提出的数据生成框架和GlovEgo-Net的有效性。为了促进进一步的研究，我们发布了GlovEgo-HOI数据集、增强流程和预训练模型。

🔬 方法详解

问题定义：论文旨在解决工业环境中以自我为中心的人-物交互(EHOI)检测问题。现有方法面临的痛点是缺乏足够数量的、带有精确标注的领域特定数据，特别是关于工人与工具、设备以及个人防护装备(PPE)交互的数据。这导致模型难以泛化到真实工业场景中，影响了安全监控和人机协作系统的性能。

核心思路：论文的核心思路是利用合成数据来弥补真实数据的不足。具体来说，首先生成大量的合成EHOI数据，然后使用基于扩散模型的图像增强技术，将合成数据与真实数据相结合，从而生成更逼真、更具泛化能力的训练数据。此外，论文还设计了一个新的模型架构GlovEgo-Net，该架构专门用于利用手部姿势信息来提高EHOI检测的准确性。

技术框架：整体框架包含数据生成和模型训练两个主要阶段。数据生成阶段首先创建合成EHOI数据，然后使用扩散模型将PPE添加到真实图像中，从而增强数据的真实感。模型训练阶段使用生成的数据集训练GlovEgo-Net模型。GlovEgo-Net包含Glove-Head和Keypoint-Head两个模块，分别用于提取手部全局特征和关键点特征，并将这些特征融合以进行EHOI检测。

关键创新：论文的关键创新点在于结合了合成数据和扩散模型的数据增强方法，以及利用手部姿势信息进行EHOI检测的模型架构。与传统的仅使用合成数据或真实数据的方法相比，该方法能够生成更逼真、更具泛化能力的训练数据。此外，GlovEgo-Net模型通过显式地利用手部姿势信息，能够更准确地识别工人与物体之间的交互关系。

关键设计：在数据生成方面，论文使用了特定的渲染引擎和3D模型来生成合成数据，并仔细调整了光照、纹理等参数，以提高合成数据的真实感。在模型架构方面，Glove-Head和Keypoint-Head模块采用了特定的卷积神经网络结构，并使用了特定的损失函数来优化模型的性能。具体的参数设置和网络结构细节在论文中有详细描述。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果表明，所提出的数据生成框架能够显著提高EHOI检测的准确性。GlovEgo-Net模型在GlovEgo-HOI数据集上取得了显著的性能提升，相比于基线模型，在交互检测精度上提高了XX%（具体数值请参考原论文）。此外，实验还验证了该方法在真实工业场景中的泛化能力。

🎯 应用场景

该研究成果可应用于工业安全监控、人机协作、远程操作等领域。通过准确检测工人的EHOI，可以及时发现潜在的安全风险，提高工作效率，并为机器人提供更自然的人机交互接口。未来，该技术有望扩展到其他领域，如医疗、教育等，实现更智能、更安全的人机交互。

📄 摘要（原文）

Egocentric Human-Object Interaction (EHOI) analysis is crucial for industrial safety, yet the development of robust models is hindered by the scarcity of annotated domain-specific data. We address this challenge by introducing a data generation framework that combines synthetic data with a diffusion-based process to augment real-world images with realistic Personal Protective Equipment (PPE). We present GlovEgo-HOI, a new benchmark dataset for industrial EHOI, and GlovEgo-Net, a model integrating Glove-Head and Keypoint- Head modules to leverage hand pose information for enhanced interaction detection. Extensive experiments demonstrate the effectiveness of the proposed data generation framework and GlovEgo-Net. To foster further research, we release the GlovEgo-HOI dataset, augmentation pipeline, and pre-trained models at: GitHub project.