GPT-6 Astra Is a Native Visuo-Tactile Policy for Contact-Rich Manipulation
作者: Chen Yang, Linzhe Shi, Hang Zhang, Mu Xu, Jiansheng Fan, Chen Wang
分类: cs.RO
发布日期: 2026-10-19
备注: 22 pages, 19 figures, 5 tables. Project page: https://tactalent.github.io/
💡 一句话要点
提出GPT-6 Astra以解决接触丰富操控中的触觉感知问题
🎯 匹配领域: 支柱一：机器人控制 (Robot Control) 支柱九：具身大模型 (Embodied Foundation Models)
关键词: 多模态模型 触觉感知 机器人操控 视觉输入 闭环控制 接触丰富环境 性能提升
📋 核心要点
- 现有方法在接触丰富操控中依赖专业策略，难以直接利用触觉信息进行有效控制。
- 论文提出GPT-6 Astra，通过视觉接口直接解析触觉图像，实现多模态的操控能力。
- 实验结果显示，Astra在多项任务中成功率显著高于专业基线，验证了其在触觉感知方面的潜力。
📝 摘要（中文）
近年来，多模态模型的进展使得GPT-6 Astra能够通过上下文学习进行机器人操控。然而，接触丰富的控制和触觉感知通常被视为专业策略的优势，尚不清楚Astra是否能够直接理解和利用触觉观察。我们首次展示了Astra能够直接解释基于视觉的触觉图像，并利用其接触线索进行操控。通过现有的视觉接口，触觉RGB图像输入使得Astra在十九个模拟的UniVTAC和OpenViTac任务中实现了93.8%和81.8%的平均成功率，分别超越了我们比较中的最强专业基线22.9和13.1个百分点。视觉单一性能也领先这些基线，达到76.3%和80.6%。轨迹分析揭示了主动探测、谨慎抓取、接触引导对齐和恢复等行为，同时也暴露了在切向加载和纠正执行方面的困难。这些发现挑战了专业策略在接触丰富操控中的独占性，并表明细粒度视觉可以部分弥补触觉的缺失。
🔬 方法详解
问题定义：本论文旨在解决接触丰富操控中触觉感知的不足，现有方法通常依赖于专业策略，无法有效整合视觉与触觉信息。
核心思路：论文的核心思路是利用GPT-6 Astra直接解析视觉输入的触觉图像，从而实现对接触线索的理解和操控，突破了传统方法的局限。
技术框架：整体架构包括视觉输入模块、触觉图像解析模块和操控决策模块。触觉RGB图像通过视觉接口输入，随后进行解析以提取接触信息，最后生成操控指令。
关键创新：最重要的技术创新在于Astra能够直接利用视觉信息进行触觉感知，挑战了传统依赖专业策略的观点，展示了多模态融合的潜力。
关键设计：在参数设置上，Astra采用了少量样本的闭环控制策略，损失函数设计上强调了接触线索的提取与利用，网络结构上则结合了视觉和触觉信息的处理模块。
🖼️ 关键图片
📊 实验亮点
实验结果显示，Astra在接触丰富操控任务中的平均成功率达到93.8%和81.8%，分别超越最强专业基线22.9和13.1个百分点。同时，视觉单一性能也领先这些基线，达到76.3%和80.6%，验证了其优越性。
🎯 应用场景
该研究的潜在应用领域包括机器人抓取、自动化装配和人机交互等场景。通过提升机器人对触觉信息的理解能力，能够显著提高其在复杂环境中的操作效率和准确性，具有重要的实际价值和未来影响。
📄 摘要（原文）
Recent advances in multimodal models have enabled GPT-6 Astra to perform robotic manipulation through in-context learning. Yet contact-rich control and tactile perception are often regarded as strengths of specialist policies, leaving open whether Astra can directly understand and use tactile observations. We provide, to our knowledge, the first demonstration that Astra directly interprets vision-based tactile images and uses their contact cues for manipulation. Tactile RGB images enter through its existing visual interface, enabling few-shot closed-loop control on nineteen simulated UniVTAC and OpenViTac tasks with 210 sampled scene seeds per setting. With visuo-tactile input, Astra achieves mean success rates of 93.8% and 81.8%, exceeding the strongest reported specialist baselines in our comparison by 22.9 and 13.1 percentage points, respectively. Vision-only performance also leads these baselines, reaching 76.3% and 80.6%. Trajectory analysis reveals active probing, cautious grasping, contact-guided alignment, and recovery, alongside difficulties with tangential loading and corrective execution. Our findings challenge the exclusivity of specialist policies in contact-rich manipulation and show that fine-grained vision can partially compensate for missing touch. They also identify vision-based tactile sensing as an interface for scaling contact understanding with foundation models and reveal signs of benchmark saturation. These results motivate joint visual-tactile pretraining, harder contact-rich evaluations, and physical-robot validation.