Read the Room: Inferring Social Context Through Dyadic Interaction Recognition in Cyber-physical-social Infrastructure Systems

📄 arXiv: 2510.04854v1 📥 PDF

作者: Cheyu Lin, John Martins, Katherine A. Flanigan, Ph. D

分类: cs.CV

发布日期: 2025-10-06

备注: ASCE International Conference on Computing in Civil Engineering 2024

💡 一句话要点

在人机社会基础设施中，通过双人互动识别推断社会情境

🎯 匹配领域: 支柱五：交互与反应 (Interaction & Reaction)

关键词: 双人互动识别 深度传感器 骨骼数据 社会情境推断 赛博物理社会系统

📋 核心要点

  1. 现有赛博物理系统(CPS)往往忽略了以人为本的社会效益，无法充分理解和利用人类互动。
  2. 该研究利用深度传感器获取骨骼数据，在保护隐私的前提下，识别双人互动中的社会情境。
  3. 通过对12种双人互动数据集的实验，比较了五种基于骨骼的互动识别算法的性能。

📝 摘要（中文）

赛博物理系统(CPS)整合传感、计算和控制，以提高基础设施性能，侧重于性能和安全等经济目标。然而，它们常常忽略了以人为本（或“社会”）的潜在利益。赛博物理社会基础设施系统(CPSIS)旨在通过将CPS与社会目标对齐来解决这个问题。这包括定义社会效益，理解人与人以及人与基础设施的互动，开发保护隐私的测量方法，对这些互动进行建模以进行预测，将它们与社会效益联系起来，并驱动物理环境以促进积极的社会结果。本文深入研究了使用真实世界数据识别双人互动，这是衡量社会行为的支柱。这为解决增强对人类互动中固有的更深层含义和相互反应的理解的需求奠定了基础。虽然RGB相机对于互动识别很有用，但会产生隐私问题。深度传感器通过分析骨骼运动提供了一种具有隐私意识的替代方案。本研究比较了12种双人互动数据集上的五种基于骨骼的互动识别算法。与单人数据集不同，这些互动被分为象征和情感展示等交流类型，提供了对人类互动的文化和情感方面的见解。

🔬 方法详解

问题定义：论文旨在解决在赛博物理社会基础设施系统中，如何通过识别双人互动来推断社会情境的问题。现有方法主要依赖RGB相机，存在隐私泄露的风险。此外，现有方法对人类互动的文化和情感方面的理解不足。

核心思路：论文的核心思路是利用深度传感器获取的骨骼数据，在保护用户隐私的前提下，识别双人互动。通过分析骨骼运动，提取互动特征，并使用机器学习算法进行分类，从而推断社会情境。这种方法避免了直接使用图像数据，降低了隐私泄露的风险。

技术框架：整体框架包括数据采集、预处理、特征提取和分类四个主要阶段。首先，使用深度传感器采集双人互动的骨骼数据。然后，对数据进行预处理，包括去噪、平滑和归一化。接着，从骨骼数据中提取互动特征，例如关节角度、相对位置和运动速度。最后，使用机器学习算法，例如支持向量机(SVM)或循环神经网络(RNN)，对互动类型进行分类。

关键创新：该论文的关键创新在于使用深度传感器进行双人互动识别，从而在保护隐私的同时，实现了对社会情境的推断。此外，该研究关注人类互动的文化和情感方面，通过对互动类型的细致分类，提供了更深入的理解。

关键设计：论文的关键设计包括选择合适的深度传感器、设计有效的骨骼特征提取方法和选择合适的机器学习算法。具体来说，论文可能采用了Kinect等常用的深度传感器，并设计了一系列基于关节角度和相对位置的特征。在机器学习算法方面，论文可能比较了SVM、RNN等多种算法的性能，并选择了最适合该任务的算法。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

该研究比较了五种基于骨骼的互动识别算法在12种双人互动数据集上的性能。实验结果表明，基于深度学习的算法，例如RNN，在互动识别任务中表现出较好的性能。具体的性能数据和对比基线需要在论文中查找，但总体而言，该研究验证了使用深度传感器进行双人互动识别的可行性和有效性。

🎯 应用场景

该研究成果可应用于智能家居、智慧城市、智能交通等领域。例如，在智能家居中，系统可以通过识别家庭成员之间的互动，自动调节环境设置，提供个性化的服务。在智慧城市中，系统可以通过识别公共场所的互动，监测社会行为，预防安全事件。在智能交通中，系统可以通过识别驾驶员和乘客之间的互动，提高驾驶安全性。

📄 摘要（原文）

Cyber-physical systems (CPS) integrate sensing, computing, and control to improve infrastructure performance, focusing on economic goals like performance and safety. However, they often neglect potential human-centered (or ''social'') benefits. Cyber-physical-social infrastructure systems (CPSIS) aim to address this by aligning CPS with social objectives. This involves defining social benefits, understanding human interactions with each other and infrastructure, developing privacy-preserving measurement methods, modeling these interactions for prediction, linking them to social benefits, and actuating the physical environment to foster positive social outcomes. This paper delves into recognizing dyadic human interactions using real-world data, which is the backbone to measuring social behavior. This lays a foundation to address the need to enhance understanding of the deeper meanings and mutual responses inherent in human interactions. While RGB cameras are informative for interaction recognition, privacy concerns arise. Depth sensors offer a privacy-conscious alternative by analyzing skeletal movements. This study compares five skeleton-based interaction recognition algorithms on a dataset of 12 dyadic interactions. Unlike single-person datasets, these interactions, categorized into communication types like emblems and affect displays, offer insights into the cultural and emotional aspects of human interactions.