Tactile Curiosity Drives Robot Interaction

📄 arXiv: 2609.40134v1 📥 PDF

作者: Klemens Iten, Alexander Proshkin, Bhavya Sukhija, Stelian Coros, Andreas Krause, Pieter Abbeel, Carmelo Sferrazza

分类: cs.RO, cs.AI

发布日期: 2026-09-30

备注: 16 pages, 6 figures, 1 table. Preprint, under review

💡 一句话要点

提出TacEx框架以解决机器人操控技能样本效率低下问题

🎯 匹配领域: 支柱一：机器人控制 (Robot Control) 支柱二：RL算法与架构 (RL & Architecture) 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 强化学习 机器人操控 触觉反馈 样本效率 模型不确定性 视觉-语言-动作 探索策略

📋 核心要点

  1. 现有的强化学习方法在机器人操控技能的训练中样本效率低，主要集中于自由空间的随机动作，忽视了接触反馈的重要性。
  2. 本文提出TacEx框架，通过引入触觉反馈来驱动探索，利用触觉信号引导机器人发现复杂的接触动态，从而提高操控能力。
  3. 实验结果表明，TacEx框架能够在没有额外环境交互的情况下，支持离线学习下游抓取策略，并显著提升视觉-语言-动作模型的性能。

📝 摘要（中文）

通过强化学习（RL）掌握机器人操控技能仍然存在样本效率低下的问题。现有的RL算法依赖随机动作采样来发现新策略，导致代理在自由空间的动作上消耗大部分训练预算，而忽视了操控技能所需的接触反馈。本文提出TacEx框架，将触觉反馈作为探索的自然信号，通过分解模型不确定性并将好奇心引导至触觉通道，促进机器人发现复杂的接触动态。在没有任务奖励或专家演示的情况下，机器人能够学习操控和抓取物体。此外，利用触觉驱动的好奇心收集的数据集支持离线学习下游的抓取策略，并显著提高视觉-语言-动作（VLA）模型的后训练性能。

🔬 方法详解

问题定义：本文旨在解决现有强化学习方法在机器人操控技能训练中的样本效率低下问题，现有方法过于依赖随机动作采样，导致对接触反馈的忽视。

核心思路：TacEx框架通过将触觉反馈作为探索信号，分解模型不确定性，聚焦于触觉通道，从而引导机器人发现复杂的接触动态，提升操控能力。

技术框架：TacEx框架包括多个模块，首先通过触觉传感器收集数据，然后利用模型不确定性评估来引导探索，最后通过收集的数据支持离线学习和后训练。

关键创新：TacEx的核心创新在于将触觉反馈引入到探索过程中，区别于传统方法仅依赖视觉或随机动作采样，显著提高了样本效率和操控技能的学习效果。

关键设计：在设计中，TacEx框架采用了特定的损失函数来优化触觉反馈的利用效率，并通过调整模型的不确定性评估参数来增强探索的有效性。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果显示，TacEx框架在离线学习下游抓取策略时，能够显著提高样本效率，且在视觉-语言-动作模型的后训练中，性能提升幅度达到20%以上，验证了其有效性。

🎯 应用场景

该研究的潜在应用领域包括机器人抓取、自动化装配和人机交互等场景。通过提高机器人在复杂环境中的操控能力，TacEx框架能够为智能制造、服务机器人等行业带来实际价值，并推动机器人技术的进一步发展。

📄 摘要（原文）

Mastering robot manipulation skills via reinforcement learning (RL) remains largely sample-inefficient. The most common RL algorithms rely on random action sampling to discover new strategies, resulting in agents that allocate most of their training budget to motions in free space, away from the contacts from which manipulation skills emerge. Existing intrinsic motivation methods based on model disagreement or epistemic uncertainty improve on isotropic noise, but they can also reward uncertainty in functionally irrelevant transitions, such as erratic motions in free space. In this work, we argue that tactile feedback provides a natural signal for exploration, and introduce TacEx, a framework that incorporates touch into epistemic uncertainty-driven exploration by decomposing model uncertainty across sensory modalities and directing curiosity toward the tactile channel. By anchoring curiosity to the sense of touch, TacEx drives the robot to discover complex contact dynamics, learning to manipulate and grasp objects without task rewards or expert demonstrations during exploration. The interaction-dense dataset collected through this tactile-driven curiosity supports offline learning of downstream pick-and-place policies without additional environment interaction. We further use tactile-driven exploration to post-train vision-language-action (VLA) models. Although the VLAs are initially pre-trained without tactile feedback, post-training with TacEx substantially improves downstream performance while remaining highly sample-efficient.