TacBPM: A Tactile-conditioned Behavior Prior Model for Dexterous Reorientation
作者: Jie Yin, Wanli Xing, Zeyuan Zhao, Xuezhou Zhu, Zhijie Deng, Kaifeng Zhang
分类: cs.RO
发布日期: 2026-09-16
备注: Corresponding to: Jie Yin (jie.yin@sharpa.com)
💡 一句话要点
提出TacBPM以解决灵巧重定向中的行为优先问题
🎯 匹配领域: 支柱一：机器人控制 (Robot Control) 支柱二：RL算法与架构 (RL & Architecture)
关键词: 灵巧操作 行为优先模型 触觉感知 机器人抓取 多尺度学习
📋 核心要点
- 现有方法在灵巧手内操作中面临高自由度关节协调和接触交互的挑战，导致策略稳定性不足。
- 本文提出TacBPM模型，通过提炼多尺度球体专家为潜在控制器，利用触觉条件来优化灵巧重定向策略。
- 实验结果显示，TacBPM显著加速了训练过程，并在复杂任务中实现了比传统方法更高的成功率和稳定性。
📝 摘要（中文）
灵巧的手内操作需要协调高自由度手指关节的策略，通过间歇性、丰富的接触交互来实现。除了目标方向跟踪外，这些策略还必须发现保持物体稳定的手指步态，同时适应几何形状、各向异性、姿态、接触和感知变化。本文提出了TacBPM，一种用于灵巧重定向的触觉条件行为优先模型。TacBPM将多尺度球体专家提炼为潜在控制器，并通过残差潜在动作让下游策略重用固定的触觉优先，从而减少从原始关节命令重新探索的需求。我们在各向异性物体的任意姿态转移、命令轴旋转以及机器人必须抓取、提升、运输和达到新工具几何形状和广义放置目标姿势的手臂-手抓取到任意姿势任务中进行了评估。大量实验表明，所提方法加速了训练，并在匹配的原始动作PPO接近失败时实现了稳定策略，在手内和手臂-手任务中成功实现了仿真到现实的转移。
🔬 方法详解
问题定义：本文旨在解决灵巧重定向中的行为优先问题，现有方法在高自由度手指关节协调和接触交互方面存在不足，导致策略的稳定性和效率低下。
核心思路：TacBPM模型通过将多尺度球体专家提炼为潜在控制器，利用触觉-本体感知历史来优化策略，使得潜在行为能够反映当前的手-物体交互状态，从而提高操作的稳定性和适应性。
技术框架：TacBPM的整体架构包括潜在控制器模块和下游策略模块。潜在控制器负责提炼触觉优先，而下游策略则通过残差潜在动作重用这些优先，减少了对原始关节命令的重新探索。
关键创新：TacBPM的主要创新在于其触觉条件行为优先模型的设计，使得策略能够在复杂的手-物体交互中保持稳定性，这一设计与传统方法的直接关节控制方式有本质区别。
关键设计：在模型设计中，采用了多尺度球体专家的提炼技术，并结合触觉-本体感知历史作为输入，优化了损失函数以增强策略的适应性和稳定性。
🖼️ 关键图片
📊 实验亮点
实验结果表明，TacBPM在各向异性物体的任意姿态转移和手臂-手任务中表现优异，相较于匹配的原始动作PPO，成功率显著提高，且训练速度加快，展示了良好的仿真到现实转移能力。
🎯 应用场景
TacBPM的研究成果在机器人抓取、灵巧操作和人机交互等领域具有广泛的应用潜力。通过提高机器人在复杂环境中的操作能力，该模型可以推动智能机器人在工业、医疗和服务等多个行业的实际应用，提升其自主性和灵活性。
📄 摘要（原文）
Dexterous in-hand manipulation requires policies that coordinate high-DoF hand joints through intermittent, contact-rich interaction. Beyond target-orientation tracking, such policies must discover finger gaits that preserve object stability while adapting to geometry, anisotropy, pose, contact, and sensing changes. We propose \method, a tactile-conditioned behavior prior model for dexterous reorientation. \method distills multi-scale sphere specialists into a latent controller and lets downstream policies reuse the fixed tactile prior through residual latent actions, reducing renewed exploration from raw joint commands. The prior conditions on tactile-proprioceptive history so latent behavior reflects the current hand-object interaction. We evaluate arbitrary-pose transfer across anisotropic objects, commanded-axis rotation, and an arm-hand Grasp-to-AnyPose task in which the robot must grasp, lift, transport, and reach goal poses for novel tool geometries and generalized placements. Extensive experiments demonstrate that the proposed method accelerates training and enables stable policies where matched raw-action PPO remains near failure, with successful sim-to-real transfer in in-hand and arm-hand tasks.