GPT-6-Astra Understands Touch and Outperform Vision--Tactile--Language--Action Models
作者: Ziyong Wang, Yupei Lin, Runxuan Huang, Liang Lin, Dongyu Zhang, Guangrun Wang
分类: cs.RO, cs.CL
发布日期: 2026-10-20
备注: https://gpt-as-tactile-policy.github.io/
💡 一句话要点
提出GPT-6-Astra以解决触觉理解与机器人操控问题
🎯 匹配领域: 支柱一：机器人控制 (Robot Control) 支柱九：具身大模型 (Embodied Foundation Models)
关键词: 多模态模型 触觉理解 机器人操控 专家演示 控制命令生成 接触反馈 任务指导
📋 核心要点
- 现有的触觉策略依赖于大量数据和专门的预训练，导致训练成本高且适应性差。
- 提出GPT-as-Tactile-Policy，通过总结专家演示来指导任务和触觉评估，结合多模态观察生成控制命令。
- 在五个UniVTAC任务中实现93.8%的平均成功率，特别是在插入孔任务中，触觉反馈成功率从31%提升至99%。
📝 摘要（中文）
通用多模态模型在直接机器人动作策略中展现出潜力，但其是否理解现实世界交互的物理原理并能应用于指导动作仍未深入探讨。本文以接触丰富的操作为测试平台，研究触觉理解作为这一更广泛能力的具体实例。现有的触觉策略通过专门的预训练和任务优化获得能力，需大量数据和训练成本。我们提出GPT-as-Tactile-Policy，将专家演示总结为任务指导和触觉参考，以评估接触和纠正动作。GPT-6-Astra结合多模态观察和交互历史生成控制命令，并通过接触反馈调整动作。在没有额外的机器人特定预训练或任务策略微调的情况下，我们的方法在五个UniVTAC任务中实现了93.8%的平均成功率，整体性能与最先进的策略相当，在某些任务上表现更佳。
🔬 方法详解
问题定义：本文旨在解决现有触觉策略在接触丰富操作中的不足，特别是其对物理交互的理解和适应能力。现有方法通常需要大量数据和专门的训练，限制了其在实际应用中的灵活性和效率。
核心思路：我们提出GPT-as-Tactile-Policy，通过总结专家演示来生成任务指导和触觉参考，从而减少对大量数据的依赖。GPT-6-Astra结合多模态观察和交互历史，能够生成控制命令并根据触觉反馈调整动作。
技术框架：整体架构包括三个主要模块：专家演示总结模块、触觉反馈处理模块和控制命令生成模块。首先，通过分析专家演示提取任务指导和触觉参考；然后，结合多模态数据生成控制命令；最后，根据实时触觉反馈调整动作。
关键创新：最重要的技术创新在于不需要额外的机器人特定预训练或任务策略微调，直接利用多模态输入和历史交互信息来生成控制策略。这一方法显著降低了训练成本，提高了适应性。
关键设计：在设计中，我们使用了特定的损失函数来优化触觉反馈的处理，并采用了适应性调整机制，以确保在不同任务中的有效性和灵活性。
🖼️ 关键图片
📊 实验亮点
实验结果显示，GPT-6-Astra在五个UniVTAC任务中实现了93.8%的平均成功率，特别是在插入孔任务中，触觉反馈的应用使成功率从31%提升至99%。这一成果表明该方法在触觉理解和机器人操控中的有效性。
🎯 应用场景
该研究的潜在应用领域包括机器人抓取、组装和其他需要触觉反馈的操作场景。通过提高机器人对触觉信息的理解能力，能够显著提升其在复杂环境中的操作效率和成功率，具有重要的实际价值和未来影响。
📄 摘要（原文）
General-purpose multimodal models have shown promise as direct robot action policies, yet whether they grasp the physics underlying real-world interactions and can apply that understanding to guide action remains underexplored. We investigate this question using contact-rich manipulation as a representative testbed, examining tactile understanding as a concrete instance of this broader capability. Contact-rich manipulation requires interpreting tactile feedback and adjusting actions after obstruction. Existing learned tactile policies acquire these capabilities through specialized pretraining and per-task optimization, with substantial data and training costs. We present GPT-as-Tactile-Policy, which summarizes expert demonstrations into task guidance and tactile references for contact assessment and corrective action. GPT-6-Astra combines this context with multimodal observations and interaction history to generate control commands and adjust actions through contact feedback. Without additional robotics-specific pretraining or per-task policy fine-tuning, our method achieves 93.8\% mean success across five UniVTAC tasks. Overall performance is comparable to state-of-the-art policies, with higher success on selected tasks. On Insert Hole, tactile feedback improves success from 31\% to 99\%. Execution analysis further demonstrates contact-guided probing and correction, supporting manipulation progress through explicit expert experience and online feedback.