PAKT: Physically-Aligned Kinesthetic Teaching for Reinforcement Learning

📄 arXiv: 2609.25630v1 📥 PDF

作者: Lars Johannsmeier, Yashraj Narang

分类: cs.RO

发布日期: 2026-09-22

备注: 17 pages, 6 figures, 9 tables, Conference on Robot Learning

🔗 代码/项目: PROJECT_PAGE

💡 一句话要点

提出PAKT框架以解决工业操作中的强化学习指导问题

🎯 匹配领域: 支柱一：机器人控制 (Robot Control) 支柱二：RL算法与架构 (RL & Architecture)

关键词: 强化学习 运动引导 适应控制 工业自动化 人机协作 机器人操作 高性能控制

📋 核心要点

  1. 现有的强化学习方法在工业操作中难以满足高精度和高成功率的要求，缺乏有效的指导接口。
  2. PAKT框架通过运动引导和适应控制，允许操作员以物理方式指导机器人，确保轨迹符合物理限制。
  3. 在四个插入和工业组装基准测试中，PAKT系统的周期时间减少了23%-48%，干预次数减少了62%-86%。

📝 摘要（中文）

现实世界中的强化学习系统在接触丰富的工业操作中仍面临挑战，包括微米级精度、超过99%的成功率和人类水平的周期时间。尽管离线策略算法可以通过利用示范和干预来提高性能，但缺乏直观的接口来收集这些指导，同时遵循物理系统和策略的约束。本文提出PAKT框架，通过运动引导的方式进行强化学习教学，克服了传统方法的不足。PAKT通过适应控制将人类施加的力量映射为运动，确保收集的轨迹符合物理限制。实验结果表明，该系统在多个基准测试中显著提高了效率。

🔬 方法详解

问题定义：本文旨在解决现有强化学习方法在工业操作中缺乏直观指导接口的问题，尤其是在高精度和高成功率的要求下，传统的遥操作方法难以满足物理约束。

核心思路：PAKT框架通过运动引导的方式进行强化学习教学，利用适应控制将人类施加的力量转化为机器人的运动，确保操作的物理可行性。

技术框架：PAKT的整体架构包括一个高性能控制堆栈，主要模块包括参考生成器和阻抗控制器。参考生成器在执行策略时保持运动的平滑性和跟踪性能。

关键创新：PAKT的创新在于通过适应控制实现了人类与机器人之间的物理对齐，避免了传统方法中可能出现的不可行轨迹问题。

关键设计：PAKT使用的参考生成器和阻抗控制器设计确保了低频强化学习动作能够映射为高频扭矩命令，从而提高了接触处理能力和策略动作的平滑性。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

在四个插入和工业组装基准测试中，PAKT系统显著提高了性能，周期时间减少了23%-48%，干预次数减少了62%-86%，相较于HIL-SERL基线表现出色，展示了其在实际应用中的有效性。

🎯 应用场景

PAKT框架在工业自动化、机器人操作和人机协作等领域具有广泛的应用潜力。通过提供直观的教学接口，PAKT可以帮助操作员更有效地训练机器人，提升生产效率，降低操作风险，未来可能在智能制造和服务机器人等领域发挥重要作用。

📄 摘要（原文）

Real-world reinforcement learning (RL) systems still struggle with the demands of contact-rich industrial manipulation, including micrometer-level precision, success rates above 99%, and human-level cycle times. Although off-policy algorithms can improve performance by leveraging demonstrations and interventions, a key bottleneck is the lack of an intuitive interface for collecting such guidance while complying with constraints of the physical system and the policy. We propose PAKT, a framework for kinesthetic teaching in RL. As opposed to teleoperation approaches, PAKT relies on kinesthetic guidance, which is widely used in industry. However, a critical weakness of kinesthetic guidance is the possibility for the operator to move the robot along trajectories (e.g., velocities, accelerations, jerk) that the robot and/or policy cannot physically reproduce. Using PAKT, operators guide the robot through admittance control, which maps human-applied forces to motion. The downstream reference generator applies the same kinematic limits used during policy execution, keeping the collected trajectories within these limits. To support this teaching interface with an appropriate execution layer, PAKT adds a high-performance control stack that maps low-frequency RL actions to high-frequency torque commands. It consists of a reference generator and subsequent impedance controller, where the reference generator preserves the tracking performance of the impedance controller while improving contact handling and producing smoother policy actions. Across the reported runs on four insertion and industrial assembly benchmarks, including a data center compute tray, the end-to-end system reduces cycle time by 23%-48% and cumulative intervention count by 62%-86% relative to the HIL-SERL baseline. Project website: https://pakt-website.github.io/pakt-website}{https://pakt-website.github.io/pakt-website