Simple Torque-Observation Alignment for Zero-Shot Sim-to-Real Grasping with a Direct-Drive Gripper
作者: Doyoung Kim, Edgar Lee, Hyeonsun Park, Chunghyeon Lee, Chihyun Han, Uisu Hwang, Seokhwan Jeong
分类: cs.RO
发布日期: 2026-09-24
💡 一句话要点
提出简单的扭矩观测对齐方法以解决零-shot仿真到真实抓取问题
🎯 匹配领域: 支柱一：机器人控制 (Robot Control) 支柱二：RL算法与架构 (RL & Architecture)
关键词: 扭矩观测对齐 零-shot学习 直接驱动执行器 强化学习 机器人抓取 仿真到真实转移 高斯噪声
📋 核心要点
- 现有方法在强化学习中面临模拟与实际扭矩之间的尺度、偏移和噪声差异，导致抓取策略的有效性降低。
- 本文提出了一种简单的扭矩观测对齐方法，通过校准扭矩常数和使用扭矩差值来消除偏移，提高了策略的鲁棒性。
- 实验结果表明，所提方法在九个对象上实现了100%的抓取成功率，显著提升了零-shot策略转移的效果。
📝 摘要（中文）
在强化学习中，扭矩观测面临着模拟与实际扭矩在尺度、偏移和噪声上的差异。本文提出了一种简单的扭矩观测对齐方法，适用于直接驱动（DD）执行器。首先，通过测功机校准识别扭矩常数K_tau*，以纠正模拟与真实扭矩之间的尺度不匹配。其次，使用扭矩差值作为观测，消除常量偏移。最后，在学习过程中注入测功机测量数据中的高斯噪声。通过在模拟中训练教师-学生抓取策略，并在多指DD抓手上部署学生策略，验证了该方法的有效性。实验结果显示，该方法在九个对象上实现了100%的抓取成功率，提升了零-shot策略转移的鲁棒性。
🔬 方法详解
问题定义：本文旨在解决在强化学习中，模拟与实际扭矩之间存在的尺度、偏移和噪声差异问题。这些差异导致了抓取策略在真实环境中的有效性下降，现有方法未能有效处理这些问题。
核心思路：论文提出了一种简单的扭矩观测对齐方法，核心思想是通过校准扭矩常数K_tau*来纠正模拟与真实扭矩之间的尺度不匹配，并使用扭矩差值作为观测来消除常量偏移，从而提高策略的鲁棒性。
技术框架：整体流程包括三个主要阶段：首先，通过测功机进行校准以识别扭矩常数K_tau*；其次，使用扭矩差值delta_tau(t)作为观测，消除偏移；最后，在学习过程中注入高斯噪声以模拟真实环境中的不确定性。
关键创新：最重要的技术创新点在于提出了使用扭矩差值作为观测的策略，这一设计有效消除了常量偏移，增强了策略在真实环境中的适应性，与现有方法相比具有显著优势。
关键设计：关键参数设置包括扭矩常数K_tau*的校准，以及在学习过程中注入的高斯噪声。这些设计细节确保了模型在面对真实环境中的扭矩观测不匹配时，依然能够保持高效的抓取能力。
🖼️ 关键图片
📊 实验亮点
实验结果显示，所提方法在九个对象上实现了100%的抓取成功率，显著优于其他对齐变体。这一结果表明，所提方法有效提升了零-shot策略转移的鲁棒性，能够更好地应对真实环境中的扭矩观测不匹配问题。
🎯 应用场景
该研究的潜在应用领域包括机器人抓取、自动化装配和人机交互等场景。通过提高零-shot策略转移的鲁棒性，该方法能够使机器人在复杂和动态的真实环境中更有效地执行抓取任务，具有重要的实际价值和未来影响。
📄 摘要（原文）
Torque observations in reinforcement learning remain challenging because simulated and measured torque differ in scale, offset, and noise. In this paper, we propose a simple torque observation alignment method for robots with direct-drive (DD) actuators, in which motor current maps linearly to joint torque through a motor-type-specific torque constant K_tau. First, dynamometer calibration identifies K_tau* and corrects the scale mismatch between simulated and real torque. Second, the method uses delta_tau(t) = tau(t) - tau(t-1) as the observation in both domains to eliminate the constant offset instead of using the direct torque tau(t), which carries a domain-dependent bias. Third, Gaussian noise obtained from the dynamometer measurement data is injected during the learning process. To validate the proposed method, we train a teacher-student grasping policy entirely in simulation and deploy the distilled student on a multifingered DD gripper. The deployed policy performs proprioceptive grasping using only joint positions and torque differences. We conduct an ablation study comparing the proposed method with alternative alignment variants on nine in-distribution (ID) objects. The proposed method achieves 100% grasp success. These results demonstrate that the proposed alignment method improves the robustness of zero-shot policy transfer on the DD gripper against real-world torque-observation mismatches.