StairNet: Visual Recognition of Stairs for Human-Robot Locomotion

📄 arXiv: 2310.20666v1 📥 PDF

作者: Andrew Garrett Kurbis, Dmytro Kuzmenko, Bogdan Ivanyuk-Skulskiy, Alex Mihailidis, Brokoslaw Laschowski

分类: cs.CV

发布日期: 2023-10-31

💡 一句话要点

提出StairNet以解决人机步态在楼梯环境中的识别问题

🎯 匹配领域: 支柱一：机器人控制 (Robot Control) 支柱六：视频提取与匹配 (Video Extraction)

关键词: 深度学习 视觉识别 人机交互 外骨骼 假肢控制 实时推理 数据集构建

📋 核心要点

  1. 人机步态在复杂地形（如楼梯）上的行走仍面临重大挑战，现有方法在环境识别上存在不足。
  2. StairNet项目通过开发轻量高效的深度学习模型，利用自我中心视觉技术实现楼梯的视觉感知与识别。
  3. 实验结果表明，模型在分类准确率上可达98.8%，并在移动设备上实现了高效的实时推理速度。

📝 摘要（中文）

人机步态在复杂地形（如楼梯）上的行走仍然是一个重大挑战。自我中心视觉具有在物理交互之前检测行走环境的独特潜力，从而改善上下楼梯的过渡。为此，我们创建了StairNet项目，旨在开发新的深度学习模型以实现楼梯的视觉感知与识别，重点是轻量高效的神经网络以支持实时推理。本文介绍了我们开发的大规模数据集（超过515,000张手动标注图像）以及不同深度学习模型（如2D和3D CNN、混合CNN和LSTM、ViT网络）和训练方法（如监督学习与时间数据、半监督学习与未标记图像）的开发。我们在不同设计中实现了高达98.8%的分类准确率，并在移动设备上实现了高达2.8毫秒的推理速度。尽管在定制的CPU智能眼镜上推理速度较慢（1.5秒），但整体上，StairNet为人机步态的视觉感知系统开发提供了有效平台。

🔬 方法详解

问题定义：本研究旨在解决人机步态在楼梯环境中的视觉识别问题。现有方法在复杂地形的环境感知上存在局限，导致人机交互的效率和安全性降低。

核心思路：论文提出通过StairNet项目，利用深度学习模型进行楼梯的视觉识别，强调轻量化和高效性，以便于在移动设备上实现实时推理。

技术框架：整体架构包括数据集构建、模型设计与训练。数据集包含超过515,000张手动标注图像，模型设计涵盖2D和3D CNN、混合CNN与LSTM、ViT网络等，训练方法包括监督学习和半监督学习。

关键创新：最重要的创新在于开发了针对楼梯识别的专用深度学习模型，并在不同设计中实现了高达98.8%的分类准确率，显著提升了环境识别的效率。

关键设计：在模型设计中，采用了多种网络结构和损失函数，优化了参数设置以平衡模型的准确性与大小，确保在移动设备上实现高效推理。实验中，模型在GPU和NPU加速下实现了2.8毫秒的推理速度。尽管在CPU智能眼镜上推理速度较慢（1.5秒），但仍展示了人机交互的潜力。

🖼️ 关键图片

img_0
img_1
img_2

📊 实验亮点

实验结果显示，StairNet模型在不同设计中实现了高达98.8%的分类准确率，且在移动设备上推理速度高达2.8毫秒。尽管在智能眼镜上推理速度较慢（1.5秒），但仍展示了良好的性能与实用性。

🎯 应用场景

该研究的潜在应用领域包括外骨骼和假肢控制，能够帮助提升残疾人士在复杂环境中的行走能力。未来，StairNet有望推动人机协作技术的发展，改善人机交互的安全性和效率。

📄 摘要（原文）

Human-robot walking with prosthetic legs and exoskeletons, especially over complex terrains such as stairs, remains a significant challenge. Egocentric vision has the unique potential to detect the walking environment prior to physical interactions, which can improve transitions to and from stairs. This motivated us to create the StairNet initiative to support the development of new deep learning models for visual sensing and recognition of stairs, with an emphasis on lightweight and efficient neural networks for onboard real-time inference. In this study, we present an overview of the development of our large-scale dataset with over 515,000 manually labeled images, as well as our development of different deep learning models (e.g., 2D and 3D CNN, hybrid CNN and LSTM, and ViT networks) and training methods (e.g., supervised learning with temporal data and semi-supervised learning with unlabeled images) using our new dataset. We consistently achieved high classification accuracy (i.e., up to 98.8%) with different designs, offering trade-offs between model accuracy and size. When deployed on mobile devices with GPU and NPU accelerators, our deep learning models achieved inference speeds up to 2.8 ms. We also deployed our models on custom-designed CPU-powered smart glasses. However, limitations in the embedded hardware yielded slower inference speeds of 1.5 seconds, presenting a trade-off between human-centered design and performance. Overall, we showed that StairNet can be an effective platform to develop and study new visual perception systems for human-robot locomotion with applications in exoskeleton and prosthetic leg control.