TORL-VLA: Tactile Guided Online Reinforcement Learning for Contact-Rich Manipulation
作者: Huaihang Zheng, Yi Yang, Kai Ma, Shenglin Xu, Tian Xie, Guozheng Li, Xiangyu Wang, Yiren Ma, Si Liu, Yinian Mao, Baoxu Liu
分类: cs.RO
发布日期: 2026-06-08
💡 一句话要点
提出TORL-VLA以解决接触丰富任务中的在线适应问题
🎯 匹配领域: 支柱一：机器人控制 (Robot Control) 支柱二：RL算法与架构 (RL & Architecture) 支柱九：具身大模型 (Embodied Foundation Models)
关键词: 在线强化学习 触觉反馈 机器人操作 视觉-语言-动作 接触丰富任务 策略优化 干预审查
📋 核心要点
- 现有的视觉-语言-动作模型在接触丰富任务中缺乏在线适应能力，导致策略在接触条件变化时表现不佳。
- TORL-VLA通过结合触觉反馈与在线强化学习，提出了一种新的框架来优化接触丰富操作的策略。
- 实验结果表明，TORL-VLA在多个长时间接触任务中显著提高了成功率和执行效率，相较于强基线表现更佳。
📝 摘要（中文）
视觉-语言-动作（VLA）模型已成为机器人操作的强大框架，近期研究将触觉或力反馈引入VLA以应对接触丰富的任务。然而，这些模型通常作为离线策略部署，当接触条件偏离训练分布时，策略无法进行在线适应，导致不当的接触力和低效的重试。因此，本文提出了TORL-VLA，一个结合触觉反馈与策略优化的在线强化学习框架，旨在提升接触丰富操作的表现。该方法引入了触觉导向的扭矩感知VLA来预测参考动作和未来的扭矩序列，同时使用轻量级在线RL模块来优化参考动作。通过引入干预审查评论员，稳定了来自混合探索策略生成和人类干预数据的学习。实机器人实验表明，TORL-VLA在多个长时间接触任务中提升了成功率和执行效率。
🔬 方法详解
问题定义：本文旨在解决现有视觉-语言-动作模型在接触丰富任务中无法进行在线适应的问题。现有方法在接触条件变化时，往往导致不适当的接触力和低效的重试，影响操作成功率。
核心思路：TORL-VLA通过引入触觉反馈与在线强化学习相结合的方式，优化了策略的实时调整能力。该方法的设计旨在使机器人能够在动态环境中有效适应变化的接触条件。
技术框架：TORL-VLA的整体架构包括触觉导向的扭矩感知VLA模块和轻量级的在线RL模块。前者用于预测参考动作和未来的扭矩序列，后者则负责对参考动作进行优化。
关键创新：本文的主要创新在于引入了干预审查评论员，确保在干预后成功的结果不会错误地归因于干预前的策略生成动作。这一设计显著提高了学习的稳定性和效率。
关键设计：在技术细节上，TORL-VLA采用了特定的损失函数来平衡触觉反馈与策略优化的目标，同时网络结构经过精心设计，以确保在处理复杂接触任务时的高效性和准确性。
🖼️ 关键图片
📊 实验亮点
在长时间接触任务的实机器人实验中，TORL-VLA显著提高了成功率和执行效率。具体而言，在锁扣操作、咖啡杯放置和鸡蛋处理等任务中，相较于强基线，成功率和时间效率均有显著提升，验证了该方法的有效性。
🎯 应用场景
TORL-VLA的研究成果在多个领域具有广泛的应用潜力，尤其是在需要精细操作的机器人任务中，如工业自动化、服务机器人和医疗机器人等。通过提升机器人在动态环境中的适应能力，该方法能够显著提高操作效率和成功率，推动智能机器人技术的发展。
📄 摘要（原文）
Vision-Language-Action (VLA) models have become a powerful framework for robotic manipulation, and recent studies have introduced tactile or force feedback into VLAs to address contact-rich tasks. However, these models are typically deployed as offline policies. When contact conditions shift from the training distribution, the policy cannot perform online adaptation, leading to problems such as inappropriate contact forces and inefficient retries. Therefore, we propose TORL-VLA, a tactile-guided online reinforcement learning framework that couples tactile feedback with policy refinement for contact-rich manipulation. Our method introduces a tactile-derived wrench-aware VLA to predict reference actions and future wrench sequences, while a lightweight online RL module is used to refine the reference actions. To stabilize learning from mixed exploratory policy-generated and human-intervention data, we introduce an intervention-censored critic that prevents post-intervention success from being wrongly credited to policy-generated actions preceding intervention. Real-robot experiments on long-horizon contact-rich tasks, including latch manipulation, coffee-cup placement, and egg handling, show that TORL-VLA improves success rates at both subtask and full-task levels, as well as time-bounded execution efficiency over strong baselines.