A Minimal Optical-Flow Representation for Vision-Based Tactile Rotation Classification in Robotic Manipulation Across Gravity Domains
作者: Oscar Martinez-Bernal, Mario Cavero-Vidal, Francesco Grella, Carol Martinez
分类: cs.RO, cs.CV
发布日期: 2026-10-08
💡 一句话要点
提出一种紧凑的光流表示法以解决机器人操控中的旋转分类问题
🎯 匹配领域: 支柱一：机器人控制 (Robot Control) 支柱三：空间感知与语义 (Perception & Semantics)
关键词: 触觉传感器 光流表示 机器人操控 重力适应 特征聚合 XGBoost 空间应用
📋 核心要点
- 现有的触觉传感器在高分辨率图像处理上存在成本高的问题，尤其是在资源受限的环境中。
- 论文提出了一种通过聚合光流特征来实现物体旋转分类的紧凑表示法，适用于不同的重力条件。
- 实验结果显示，跨重力域训练的模型在准确率上显著优于仅基于地球数据训练的模型，且推理速度快。
📝 摘要（中文）
基于视觉的触觉传感器提供丰富的接触信息，但处理高分辨率图像对于资源受限的平台（如太空机器人）来说成本较高。本研究探讨了一种紧凑的触觉运动表示法，能否在不同重力条件下对物体旋转进行分类。通过对模拟的GelSight Mini传感器的密集光流进行聚合，形成126个特征，用于分类在地球、火星、月球和轨道重力下的负载诱导旋转。尽管重力对特征的影响较小，仅占方差的1.6%，但这会显著影响仅基于地球数据训练的模型：XGBoost的准确率从94.4%下降至75.9%。相比之下，跨四个重力域训练的单一模型实现了96.3%的整体准确率，且在各个域内的准确率在95.1%-97.0%之间，且未使用重力作为输入。该表示法还可以减少到40个特征，同时保持95.7%的准确率，XGBoost推理时间仅需0.14毫秒。这些发现表明，仅依赖地球重力的性能不足以建立触觉感知在太空机器人操控中的可转移性，强调了在训练和验证过程中考虑重力诱导的领域转移的必要性。
🔬 方法详解
问题定义：本研究旨在解决在不同重力条件下，如何有效分类物体旋转的问题。现有方法在处理高分辨率图像时，计算成本高，且在不同重力环境下的适应性不足。
核心思路：论文提出通过聚合来自GelSight Mini传感器的密集光流数据，形成紧凑的特征表示，以实现对物体旋转的分类。该方法旨在减少计算负担，同时保持分类性能。
技术框架：整体流程包括数据采集、光流计算、特征聚合和分类模型训练。首先从传感器获取图像数据，计算光流，然后在7x9的网格上聚合特征，最后使用XGBoost进行分类。
关键创新：最重要的创新在于提出了一种新的特征聚合方法，使得在不同重力条件下的分类性能显著提升。与现有方法相比，该方法无需将重力作为输入，依然能够有效分类。
关键设计：特征聚合过程中，使用了126个特征，后续可减少到40个特征以保持高达95.7%的准确率。XGBoost模型的推理时间仅为0.14毫秒，显示出良好的实时性。
🖼️ 关键图片
📊 实验亮点
实验结果表明，跨四个重力域训练的模型整体准确率达到96.3%，在各个重力域内的准确率均在95.1%-97.0%之间。与仅基于地球数据训练的模型相比，准确率从94.4%下降至75.9%，显示出重力对模型性能的显著影响。
🎯 应用场景
该研究的潜在应用领域包括太空机器人操控、自动化制造和精密抓取等场景。通过提高触觉感知的可转移性，能够在不同重力环境下实现更高效的物体操控，推动机器人技术在极端环境中的应用。未来，这一方法可能会扩展到其他领域，如医疗机器人和服务机器人等。
📄 摘要（原文）
Vision-based tactile sensors provide rich contact information, but processing high-resolution images can be costly for resource-constrained platforms such as space robots. This work investigates whether a compact representation of tactile motion can classify object rotation across different gravity conditions. Dense optical flow from a simulated GelSight Mini is aggregated over a 7x9 grid into 126 features and used to classify the direction of load-induced rotation under Earth, Mars, Moon, and orbital gravity. Gravity causes a small but significant shift in these features, accounting for 1.6% of their variance (R2 = 0.016). Despite its small magnitude, this shift affects models trained only on Earth data: XGBoost accuracy decreases from 94.4% on Earth to 75.9% in orbit. In contrast, a single model trained across all four gravity domains achieves 96.3% overall accuracy and 95.1%-97.0% across individual domains, without using gravity as an input. The representation can also be reduced to 40 features while retaining 95.7% accuracy, with XGBoost requiring only 0.14 ms per inference. These findings show that Earth-gravity performance alone is insufficient to establish the transferability of tactile perception for space robotic manipulation, highlighting the need to account for gravity-induced domain shifts during training and validation.