Soft Vision-Based Tactile-Enabled SixthFinger: Advancing Daily Objects Manipulation for Stroke Survivors
作者: Basma Hasanen, Mashood M. Mohsan, Abdulaziz Y. Alkayas, Federico Renda, Irfan Hussain
分类: cs.RO
发布日期: 2025-01-12
备注: Robosoft 2025 conference
💡 一句话要点
针对中风幸存者，提出基于视觉触觉融合的软体外置机械指，辅助日常物品操作
🎯 匹配领域: 支柱一：机器人控制 (Robot Control) 支柱五：交互与反应 (Interaction & Reaction)
关键词: 软体机器人 触觉感知 视觉触觉融合 Transformer 中风康复 辅助机器人 抓握力控制
📋 核心要点
- 中风后抓握能力不足，现有补偿策略存在局限性，需要更先进的辅助系统。
- 设计软体外置机械指，融合视觉触觉感知，自主调整抓握力，模拟人机交互。
- 使用Transformer框架，在包含多种形态属性物体的数据集上训练，并在实际场景中验证了系统的有效性。
📝 摘要（中文）
本文提出了一种新型系统，旨在帮助慢性中风幸存者，通过开发一种基于视觉、触觉的软体外置机械指来弥补抓握缺陷。该系统结合了基于视觉的触觉感知，能够自主调整抓握力，以响应滑动的检测。这种协同作用不仅确保了机械稳定性，还丰富了触觉反馈，模拟了人与物体交互的动态过程。该方法的核心是一个基于Transformer的框架，该框架在一个全面的触觉数据集上进行训练，该数据集涵盖了具有广泛形态属性的物体，包括形状、大小、重量、纹理和硬度的变化。此外，我们在实际应用中验证了系统的鲁棒性，它成功地操纵了各种日常物品。有希望的结果突出了这种方法在提高中风幸存者生活质量方面的潜力。
🔬 方法详解
问题定义：中风幸存者常常面临抓握能力下降的问题，严重影响日常生活。现有的辅助设备可能存在操作复杂、适应性差、缺乏触觉反馈等问题，难以满足用户在不同场景下的需求。因此，需要一种能够提供稳定抓握、具备触觉感知、并且能够适应不同物体的辅助系统。
核心思路：本文的核心思路是利用软体机器人技术和视觉触觉融合感知，设计一种外置机械指，通过模仿人类抓握的动态过程，为中风幸存者提供辅助。视觉信息用于识别物体和估计抓握姿态，触觉信息用于检测滑动和调整抓握力，从而实现稳定、安全的抓握。
技术框架：该系统的整体架构包含以下几个主要模块：1) 软体机械指：采用柔性材料和气动驱动，提供安全、舒适的抓握体验。2) 视觉感知模块：利用摄像头获取物体图像，通过图像处理和目标检测算法识别物体，并估计抓握姿态。3) 触觉感知模块：在机械指表面集成触觉传感器，用于检测滑动和测量抓握力。4) 控制模块：基于视觉和触觉信息，利用Transformer模型预测合适的抓握力，并控制气动驱动器调整机械指的姿态和力度。
关键创新：该论文的关键创新在于将视觉和触觉信息融合，并利用Transformer模型进行抓握力预测。传统的机械手控制往往依赖于预编程的抓握策略，难以适应不同形状、大小和材质的物体。本文提出的方法能够根据视觉和触觉反馈，自主调整抓握力，从而实现更稳定、更自然的抓握。
关键设计：Transformer模型是该系统的核心。该模型以视觉和触觉数据作为输入，输出抓握力控制信号。为了训练该模型，作者构建了一个包含大量不同物体的触觉数据集，并设计了合适的损失函数，以提高模型的预测精度和泛化能力。此外，软体机械指的设计也至关重要，需要选择合适的材料和结构，以确保其具有足够的柔性和强度。
🖼️ 关键图片
📊 实验亮点
该系统在实际场景中成功操纵了各种日常物品，验证了其鲁棒性和实用性。虽然论文中没有给出具体的性能数据，但强调了该系统能够根据视觉和触觉反馈自主调整抓握力，从而实现稳定、安全的抓握。与传统的机械手控制方法相比，该方法具有更强的适应性和灵活性。
🎯 应用场景
该研究成果可应用于康复医疗、辅助生活等领域，帮助中风、脊髓损伤等患者恢复或增强抓握能力，提高生活自理能力。此外，该技术还可应用于工业自动化、远程操作等场景，提高机器人的灵活性和适应性，使其能够完成更复杂的任务。未来，该技术有望与虚拟现实、增强现实等技术结合，为用户提供更沉浸式的交互体验。
📄 摘要（原文）
The presence of post-stroke grasping deficiencies highlights the critical need for the development and implementation of advanced compensatory strategies. This paper introduces a novel system to aid chronic stroke survivors through the development of a soft, vision-based, tactile-enabled extra robotic finger. By incorporating vision-based tactile sensing, the system autonomously adjusts grip force in response to slippage detection. This synergy not only ensures mechanical stability but also enriches tactile feedback, mimicking the dynamics of human-object interactions. At the core of our approach is a transformer-based framework trained on a comprehensive tactile dataset encompassing objects with a wide range of morphological properties, including variations in shape, size, weight, texture, and hardness. Furthermore, we validated the system's robustness in real-world applications, where it successfully manipulated various everyday objects. The promising results highlight the potential of this approach to improve the quality of life for stroke survivors.