PCIE_Interaction Solution for Ego4D Social Interaction Challenge

📄 arXiv: 2505.24404v1 📥 PDF

作者: Kanokphan Lertniphonphan, Feng Chen, Junda Xu, Fengbu Lan, Jun Xie, Tao Zhang, Zhepeng Wang

分类: cs.CV

发布日期: 2025-05-30

🔗 代码/项目: GITHUB

💡 一句话要点

PCIE_Interaction方案解决Ego4D社交互动挑战中的LAM和TTM任务

🎯 匹配领域: 支柱六：视频提取与匹配 (Video Extraction)

关键词: 社交互动检测 Ego4D挑战赛 人脸质量增强 音视频融合 集成学习 视觉质量评估 多模态学习

📋 核心要点

  1. Ego4D社交互动挑战旨在检测主体与摄像机佩戴者间的互动，现有方法在复杂场景下表现不足。
  2. PCIE_Interaction方案通过人脸质量增强、集成方法以及音视频融合加权，提升互动检测的准确性。
  3. 该方案在LAM和TTM任务中分别取得了0.81和0.71的mAP，验证了方法的有效性。

📝 摘要（中文）

本报告介绍了我们的团队PCIE_Interaction为CVPR 2025 Ego4D社交互动挑战赛提供的解决方案，该方案针对“看着我”（Looking At Me, LAM）和“跟我说话”（Talking To Me, TTM）两个任务。该挑战赛要求准确检测主体与摄像机佩戴者之间的社交互动，其中LAM任务仅依赖于人脸裁剪序列，而TTM任务则结合了说话者的人脸裁剪和同步音频片段。在LAM赛道中，我们采用了人脸质量增强和集成方法。对于TTM任务，我们通过融合音频和视觉线索，并根据视觉质量评分进行加权，从而扩展了视觉互动分析。我们的方法在LAM和TTM挑战赛排行榜上分别实现了0.81和0.71的平均精度均值（mAP）。代码可在https://github.com/KanokphanL/PCIE_Ego4D_Social_Interaction 获取。

🔬 方法详解

问题定义：该论文旨在解决Ego4D社交互动挑战中的Looking At Me (LAM) 和 Talking To Me (TTM) 两个任务。现有方法在处理真实场景下的复杂社交互动时，尤其是在光照不足、遮挡等情况下，人脸检测和识别的准确率会显著下降，导致社交互动检测性能不佳。此外，对于TTM任务，如何有效融合音频和视觉信息也是一个挑战。

核心思路：该论文的核心思路是利用人脸质量增强技术来提高人脸识别的准确率，并采用集成方法来进一步提升LAM任务的性能。对于TTM任务，则通过融合音频和视觉信息，并根据视觉质量评分对音频信息进行加权，从而更准确地判断摄像机佩戴者是否正在与他人交谈。这种融合策略旨在利用音频信息弥补视觉信息的不足，同时避免低质量视觉信息对结果产生负面影响。

技术框架：整体框架包含两个主要分支，分别对应LAM和TTM任务。对于LAM任务，首先进行人脸检测和裁剪，然后进行人脸质量增强，最后使用集成方法进行分类。对于TTM任务，首先进行人脸检测和裁剪，并提取说话者的人脸特征，同时提取同步音频片段的特征，然后根据视觉质量评分对音频特征进行加权，最后将加权后的音频特征与视觉特征融合，进行分类。

关键创新：该论文的关键创新在于：1) 针对LAM任务，采用了人脸质量增强技术和集成方法，提高了人脸识别的准确率；2) 针对TTM任务，提出了基于视觉质量评分的音视频融合方法，能够更有效地利用音频信息，同时避免低质量视觉信息的影响。

关键设计：具体的技术细节包括：1) 人脸质量增强方法的具体实现（例如，采用某种特定的图像增强算法）；2) 集成方法的具体策略（例如，采用投票法或加权平均法）；3) 音频特征和视觉特征的具体提取方法（例如，采用预训练的深度学习模型）；4) 视觉质量评分的具体计算方法（例如，基于人脸清晰度、光照强度等指标）；5) 音视频融合的具体方式（例如，采用拼接或注意力机制）。由于论文摘要信息有限，这些细节尚不明确，需要查阅论文全文才能确定。

🖼️ 关键图片

fig_0

📊 实验亮点

该研究在Ego4D社交互动挑战赛的LAM和TTM任务中取得了显著成果，分别实现了0.81和0.71的mAP。这些结果表明，该论文提出的方法能够有效地提高社交互动检测的准确率，尤其是在复杂场景下。与未采用人脸质量增强和音视频融合策略的基线方法相比，该方法具有明显的优势。

🎯 应用场景

该研究成果可应用于智能监控、人机交互、社交机器人等领域。例如，在智能监控中，可以自动检测监控对象是否正在与他人进行社交互动，从而提供更全面的监控信息。在人机交互中，可以使机器人更准确地理解人类的意图，从而提供更自然、更智能的交互体验。在社交机器人中，可以使机器人更有效地与人类进行沟通和交流。

📄 摘要（原文）

This report presents our team's PCIE_Interaction solution for the Ego4D Social Interaction Challenge at CVPR 2025, addressing both Looking At Me (LAM) and Talking To Me (TTM) tasks. The challenge requires accurate detection of social interactions between subjects and the camera wearer, with LAM relying exclusively on face crop sequences and TTM combining speaker face crops with synchronized audio segments. In the LAM track, we employ face quality enhancement and ensemble methods. For the TTM task, we extend visual interaction analysis by fusing audio and visual cues, weighted by a visual quality score. Our approach achieved 0.81 and 0.71 mean average precision (mAP) on the LAM and TTM challenges leader board. Code is available at https://github.com/KanokphanL/PCIE_Ego4D_Social_Interaction