TacZero: Training-Free Peg Insertion Using a General-Purpose Vision-Language Model with Tactile Feedback

📄 arXiv: 2610.07621v1 📥 PDF

作者: Kazutoshi Tanaka

分类: cs.RO

发布日期: 2026-10-06

备注: 8 pages, 4 figures

💡 一句话要点

提出TacZero以解决无训练的插入任务问题

🎯 匹配领域: 支柱一：机器人控制 (Robot Control) 支柱七：动作重定向 (Motion Retargeting) 支柱八：物理动画 (Physics-based Animation)

关键词: 视觉-语言模型 机器人操作 触觉反馈 无训练学习 接触丰富操作 自主决策 多模态融合

📋 核心要点

  1. 现有方法依赖于设计估计模型和触觉反馈控制法则，缺乏灵活性和通用性。
  2. TacZero利用预训练的VLM，直接从视觉和触觉数据中推断接触关系并选择动作，无需额外训练。
  3. 在圆柱形插入实验中，TacZero在有触觉输入的情况下成功率达到75%，显示出显著的性能提升。

📝 摘要（中文）

本研究提出TacZero，一个无需额外训练的机器人操作系统，利用预训练的通用视觉-语言模型（VLM）来解释视觉和触觉观察，并选择机器人动作。TacZero通过提供相机图像、机器人状态和三轴触觉反馈，生成指定末端执行器位置和夹持器开合的命令。在实际的圆柱形插入实验中，TacZero在20次试验中成功完成15次，相较于没有触觉输入的10次，显示出显著的性能提升。这项研究为利用通用VLM进行接触丰富的操作提供了一个具体的起点，并突显了在这一方向上面临的挑战。

🔬 方法详解

问题定义：本研究旨在解决机器人在执行接触丰富的操作任务时，如何在没有任务特定训练或手工设计规则的情况下，自动推断动作的问题。现有方法通常需要复杂的模型设计和大量的训练数据，限制了其应用范围。

核心思路：TacZero的核心思路是利用一个预训练的通用视觉-语言模型（VLM），通过解释视觉和触觉观察来选择机器人动作。这种方法避免了传统方法中对特定任务的依赖，提升了灵活性和适应性。

技术框架：TacZero的整体架构包括三个主要模块：输入模块（接收相机图像、机器人状态和触觉反馈）、VLM模块（处理输入并生成动作命令）和执行模块（低级控制器执行命令）。这些模块协同工作，实现了从感知到动作的直接映射。

关键创新：TacZero的主要创新在于其使用的预训练VLM，能够在没有额外触觉或操作训练的情况下，直接从多模态输入中推断接触关系并选择动作。这与现有方法的本质区别在于，后者通常依赖于复杂的模型设计和训练。

关键设计：TacZero的设计中，输入的触觉反馈以数值或向量形式叠加在图像上，VLM根据这些输入和交互历史生成具体的动作命令。该系统的参数设置和损失函数设计尚未详细说明，具体细节仍需进一步研究。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

在实际的圆柱形插入实验中，TacZero在20次试验中成功完成15次，相比之下，未使用触觉输入的情况下仅成功10次，显示出显著的提升幅度。这一结果表明，触觉反馈在复杂操作中的重要性，以及TacZero方法的有效性。

🎯 应用场景

TacZero的研究成果在机器人自主操作、智能制造和人机协作等领域具有广泛的应用潜力。通过减少对特定任务训练的依赖，TacZero可以加速机器人在复杂环境中的适应能力，提升其在实际操作中的灵活性和效率。未来，TacZero可能会推动更广泛的接触丰富操作研究，促进机器人技术的发展。

📄 摘要（原文）

Robots that autonomously determine their actions from language instructions and sensory observations could perform new contact-rich manipulation tasks without task-specific training or hand-designed rules. To perform these tasks, robots must infer how objects contact one another and move as a result, then select actions. For contact inference and action selection, prior approaches involve designing estimation models and tactile feedback control laws, or learning models for object-motion estimation, action-outcome prediction, and action selection from tactile data. Instead, we propose TacZero, which uses a pretrained general-purpose vision-language model (VLM) to interpret visual and tactile observations and select robot actions without additional tactile or manipulation training or task-specific rules for contact interpretation or action selection. TacZero provides the VLM with camera images, robot state, and three-axis tactile responses represented as numerical values or vectors overlaid on the images. From these observations and interaction history, the VLM generates commands specifying target end-effector positions and gripper opening or closing, which a low-level controller executes. In real-world cylindrical-peg insertion experiments, TacZero succeeded in 15 of 20 trials with numerical tactile input, compared with 10 of 20 without tactile input. This study provides a concrete starting point for further research on contact-rich manipulation using general-purpose VLMs and highlights challenges in pursuing this direction.