No Eyes, No Problem: What Does Touch Contribute to Blind Baoding Ball Manipulation?
作者: Ayush Deshmukh, Nalin Agarwal, Elle Miller, Sethu Vijayakumar
分类: cs.RO
发布日期: 2026-10-16
备注: 9 Pages, 8 Figures
💡 一句话要点
提出无视力的触觉反馈机制以解决盲操控问题
🎯 匹配领域: 支柱一：机器人控制 (Robot Control) 支柱二：RL算法与架构 (RL & Architecture) 支柱九：具身大模型 (Embodied Foundation Models)
关键词: 盲操控 触觉反馈 强化学习 机器人技术 领域随机化 灵巧手 物体操控
📋 核心要点
- 现有方法在无视觉的情况下，机器人操控物体面临接触变化、触觉信息漂移等挑战，难以实现稳定的操作。
- 本文提出了利用本体感知和二元触觉反馈进行盲操控的策略，并通过模拟环境中的耦合感知实现零-shot转移。
- 实验结果显示，所提策略在真实环境中成功完成225次连续的180度旋转，显著提升了盲操控的稳定性和效率。
📝 摘要（中文）
人类能够通过触觉轻松操控物体，但对于机器人而言，在没有视觉的情况下实现持续的物体操控仍然是一个挑战。尽管强化学习可以在模拟环境中生成复杂的盲操控策略，但将其转移到真实的灵巧手上却受到多种因素的制约。本文通过在Shadow Dexterous Hand Lite上进行的盲操控实验，利用本体感知和二元触觉反馈作为观察数据，成功实现了零-shot转移。通过传感器对齐、耦合感知的模拟环境以及两种新颖的领域随机化方法，本文在物理手上实现了持续的盲操控，完成了225次连续的180度旋转，且未使用任何视觉信息。这一研究为触觉驱动的灵巧操控设立了新的基准。
🔬 方法详解
问题定义：本文旨在解决机器人在无视觉情况下进行物体操控的挑战，现有方法在真实环境中难以实现稳定的操控，受到多种因素的影响。
核心思路：论文的核心思路是通过结合本体感知和二元触觉反馈，利用模拟环境中的耦合感知实现盲操控策略的零-shot转移，旨在提升操控的稳定性和效率。
技术框架：整体框架包括三个主要模块：1) 传感器对齐与耦合感知的模拟；2) 触觉校准；3) 两种新颖的领域随机化方法，分别为动作速率限制和STuck-AT Taxels。
关键创新：最重要的创新点在于提出了新的领域随机化技术，能够有效应对真实环境中的动态变化，从而实现更高效的盲操控。与现有方法相比，本文在旋转次数和速度上均取得了显著提升。
关键设计：在实验中，关键设计包括对触觉传感器的校准、动作速率的限制以及对触觉信息重要性的评估，确保了在无视觉信息的情况下，机器人能够稳定地完成操控任务。
🖼️ 关键图片
📊 实验亮点
实验结果显示，所提策略在真实环境中成功完成了225次连续的180度旋转，旋转速度约为0.36转/秒。这是目前在盲操控领域中报告的最高旋转次数和速度，展示了触觉反馈在操控中的重要性。
🎯 应用场景
该研究的潜在应用领域包括盲人辅助设备、机器人手术、以及需要精细操控的工业自动化等。通过提升机器人在无视觉情况下的操控能力，能够为这些领域带来更高的效率和安全性，未来可能推动智能机器人在更多复杂环境中的应用。
📄 摘要（原文）
Humans manipulate objects within their hands through touch alone with remarkable ease, but for robots, achieving sustained real-world manipulation without vision remains an open challenge. Although reinforcement learning (RL) can generate sophisticated blind manipulation policies in simulation, transferring them to a real dexterous hand remains hindered by continuously changing contacts, motion-induced tactile information drift, and the gap between simulated and physical dynamics. We study this problem through Baoding ball rotation on the Shadow Dexterous Hand Lite, using only proprioception and binary tactile feedback as observations. We achieve successful zero-shot transfer through a combination of a sensor-aligned, coupling-aware embodiment in simulation, tactile calibration, and two novel episodic domain randomisations: slew-rate action limits and STuck-AT Taxels. On the physical hand, the policy achieves sustained blind Baoding rotation, completing 225 consecutive $\mathbf{180^\circ}$ rotations (112.5 full rotations) at $\sim0.36 \;\text{rot/s}$ in a single continuous trial without any vision or object-state information. Furthermore, we evaluate the contribution of tactile sensing relative to proprioception alone and identify the hand regions where tactile information is most important. This is the strongest reported hardware result for Baoding ball manipulation in both rotation count and speed, irrespective of the sensing modality used. By effectively bridging the sim-to-real gap, our framework sets a new benchmark for sustained tactile-driven dexterous manipulation on physical hardware.