TaRL: Learning General and Physical Rewards from Tactile Demonstrations

📄 arXiv: 2609.36785v1 📥 PDF

作者: Po-Yi Wu, Dao-Jan Chang, Shang-Ya Hsiao, Hong-Ming Chen, Yu-Cheng Su, Tsung-Wei Ke

分类: cs.RO

发布日期: 2026-09-29

备注: 7 pages, 13 figures. Project page: https://embodiedai-ntu.github.io/tarl

🔗 代码/项目: PROJECT_PAGE

💡 一句话要点

提出TaRL框架以从触觉示范中学习奖励

🎯 匹配领域: 支柱一：机器人控制 (Robot Control) 支柱二：RL算法与架构 (RL & Architecture) 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 触觉学习 强化学习 机器人操作 奖励设计 物体操控 多模态学习

📋 核心要点

  1. 现有的视觉奖励学习方法无法有效捕捉超出视觉目标的奖励，导致在复杂操作中的学习效率低下。
  2. 论文提出的TaRL框架通过触觉示范学习奖励，能够从触觉变形图中回归任务完成进度，提供更丰富的反馈信息。
  3. 实验结果表明，TaRL作为塑形奖励显著提高了样本效率和成功率，且在不同任务间具有良好的泛化能力。

📝 摘要（中文）

接触丰富的操作要求机器人精确地进行接触序列、保持稳定的抓取并施加定向力。强化学习（RL）能够自动获取这些行为，但其性能依赖于奖励设计：稀疏奖励降低学习效率，而密集奖励难以指定。视觉奖励学习通过从无动作示范中推断奖励来解决这一问题，但仅依赖视觉观察，无法捕捉超出视觉目标的奖励。我们提出了触觉奖励学习（TaRL）框架，从触觉示范中学习奖励。TaRL以一系列触觉变形图为输入，从成功和失败的示范中回归任务完成进度。由于TaRL捕捉到局部的机器人-物体交互，它提供了有益的反馈以学习稳固的抓取和正确的施力方向，同时对场景布局的变化具有鲁棒性。我们在四个模拟操作任务和两个真实世界任务上评估了TaRL。作为塑形奖励，它显著提高了样本效率和最终成功率，在模拟中将坚果穿线的成功率从34%提升至56%，在真实世界中将立方体拾取的成功率从37%提升至97%。将触觉与视觉奖励结合进一步提升了性能。TaRL还在物体实例间具有泛化能力：在箱子放置任务上训练后，直接应用于罐子放置任务，显著改善了新任务的策略学习。

🔬 方法详解

问题定义：本论文旨在解决机器人在接触丰富操作中如何有效学习奖励的问题。现有的视觉奖励学习方法在处理复杂的物体交互时存在局限，无法捕捉到超出视觉信息的奖励信号。

核心思路：TaRL框架通过分析触觉示范，利用触觉变形图来学习奖励信号。这种设计能够捕捉到机器人与物体之间的局部交互，从而提供更为精准的反馈，帮助机器人学习稳定的抓取和施力。

技术框架：TaRL的整体架构包括输入触觉变形图、回归任务完成进度的网络模型，以及从成功和失败示范中提取信息的模块。该框架能够处理不同的操作任务，并在多种场景中保持鲁棒性。

关键创新：TaRL的主要创新在于其通过触觉信息学习奖励的能力，区别于传统的视觉奖励学习方法。这种方法能够有效捕捉到机器人与物体的交互细节，从而提升学习效率和成功率。

关键设计：在TaRL中，关键的参数设置包括触觉变形图的输入格式、损失函数的设计以平衡成功与失败示范的影响，以及网络结构的选择以确保高效的特征提取和任务回归。具体的网络架构和训练细节在论文中有详细描述。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果显示，TaRL作为塑形奖励显著提高了样本效率和最终成功率。在模拟环境中，坚果穿线任务的成功率从34%提升至56%；在真实环境中，立方体拾取任务的成功率从37%提升至97%。此外，将触觉与视觉奖励结合使用进一步提升了性能。

🎯 应用场景

该研究的潜在应用领域包括机器人抓取、物体操控和人机交互等。通过提高机器人在复杂环境中的操作能力，TaRL框架可以在工业自动化、服务机器人以及智能家居等多个领域发挥重要作用。未来，随着触觉传感器技术的发展，TaRL的应用前景将更加广泛。

📄 摘要（原文）

Contact-rich manipulation requires robots to sequence precise contacts, maintain stable grasps, and apply directed forces. Reinforcement learning (RL) can acquire such behaviors automatically, but its performance hinges on reward design: sparse rewards reduce the learning efficiency, while dense rewards are hard to specify. Visual reward learning addresses this by inferring rewards from action-free demonstrations. Because it conditions only on visual observations, it fails to capture rewards beyond visual goals. We propose Tactile Reward Learning (TaRL), a framework that learns rewards from tactile demonstrations. TaRL takes a sequence of tactile deformation maps as input, and regresses task-completion progress from both successful and failed demonstrations. Because TaRL captures local robot-object interaction, it provides informative feedback to learn firm grasps and correctly directed forces; meanwhile, it is robust to changes in scene layout such as object position. We evaluate TaRL on four manipulation tasks in simulation and two in the real world. Used as a shaping reward, it substantially improves both sample efficiency and final success rate, raising success on Nut threading from 34% to 56% in simulation and on cube pickup from 37% to 97% in the real world. Combining tactile with visual rewards improves performance further. TaRL also generalizes across object instances: trained on box placement and directly deployed to can placement, it significantly improves policy learning on the new task. Project page is available at https://embodiedai-ntu.github.io/tarl.