Spark-0: Scaling Spatially Aligned Tactile Pretraining for Robot Dexterous Manipulation

📄 arXiv: 2610.22342v1 📥 PDF

作者: Tianxing Chen, Wenwei Lin, Chuqiao Lyu, Peicheng Xiang, Junyuan Tang, Tian Nian, Zijian Cai, Kehe Ye, Chenze Yu, Wenxuan Zhu, Eric J. Chen, Yan Qin, Yue Chen, Tongyu Wu, Junhao Gong, Kai-Chong Lei, Jiahao Zhang, Kailun Su, Qiwei Liang, Renjing Xu, Ping Luo, Wenbo Ding

分类: cs.RO

发布日期: 2026-10-15

备注: Website: https://xsparkai.com/Spark-0

💡 一句话要点

提出Spark-0以解决机器人灵巧操作中的触觉感知问题

🎯 匹配领域: 支柱一：机器人控制 (Robot Control) 支柱二：RL算法与架构 (RL & Architecture) 支柱六：视频提取与匹配 (Video Extraction)

关键词: 机器人操作 触觉感知 多模态学习 视觉-触觉融合 灵巧操作 数据集构建 预训练模型

📋 核心要点

  1. 现有的机器人策略在处理接触丰富的灵巧操作时，难以有效利用视觉信息，导致操作成功率低。
  2. 提出的Spark-0模型通过结合视觉和触觉信息，利用触觉数据进行预训练，从而提升机器人在复杂操作中的表现。
  3. 实验结果表明，Spark-0在多个基准测试中表现优异，成功率显著提高，验证了触觉在灵巧操作中的重要性。

📝 摘要（中文）

通用机器人策略受益于大规模视觉预训练，但在接触丰富的灵巧操作中常常面临挑战，因为力、顺应性和初始滑动等信息难以从图像中观察到。本文提出了Spark-0，一个空间对齐的视觉-触觉-语言-动作（VTLA）模型，利用触觉信息进行预训练。通过结合来自触觉手套的图像空间接触图和冻结的3D几何特征，Spark-0在预训练阶段监督视觉标记，并在推理时去除这些目标。此外，触觉通道编码区域力历史和3D触觉状态，以调节动作专家。通过构建HumanTouch数据集，Spark-0在多种数据源上进行预训练，并在SparkArena上实现了最高的成功率，显示触觉不仅作为策略输入，还作为灵巧视觉运动预训练的可扩展监督。

🔬 方法详解

问题定义：本文旨在解决机器人在灵巧操作中对触觉信息的利用不足，现有方法在处理力和接触状态时存在盲区，导致操作失败率高。

核心思路：Spark-0模型通过结合视觉、触觉和语言信息，利用触觉数据进行预训练，增强机器人对复杂操作的理解和执行能力。

技术框架：Spark-0的整体架构包括视觉通道、触觉通道和语言通道。视觉通道使用图像空间接触图进行监督，触觉通道编码力历史和3D触觉状态，语言通道则用于调节动作决策。

关键创新：最重要的创新在于引入触觉信息作为监督信号，提升了视觉-触觉模型的性能，使其在灵巧操作中表现优于仅依赖视觉的模型。

关键设计：模型设计中，采用了多模态融合策略，触觉数据的损失函数与视觉数据的损失函数相结合，确保模型在预训练阶段能够有效学习到触觉信息的价值。

🖼️ 关键图片

img_0
img_1
img_2

📊 实验亮点

Spark-0在SparkArena的实验中取得了最高的成功率，Ego Humanoid Manipulation Benchmark的所有八个综合指标中均排名第一。与仅依赖视觉的预训练相比，结合1,000小时的触觉数据使得Ego Humanoid的成功率从52.5%提升至71.7%，在SparkArena-Real中从44.0%提升至52.0%。

🎯 应用场景

该研究的潜在应用领域包括服务机器人、工业自动化和医疗机器人等，能够显著提升机器人在复杂环境中的操作能力和灵活性。未来，Spark-0的技术可以扩展到更多的多模态学习任务，推动机器人智能化的发展。

📄 摘要（原文）

Generalist robot policies benefit from large-scale visual pretraining but often struggle with contact-rich dexterous manipulation, where force, compliance, and incipient slip are hard to observe from images. We present Spark-0, a spatially aligned vision-tactile-language-action (VTLA) model that uses touch in two complementary ways. During pretraining, image-space contact maps derived from tactile gloves, together with features from a frozen 3D geometry teacher, supervise the visual tokens; these objectives are removed at inference. In parallel, a tactile pathway encodes regional force histories and 3D taxel states to condition the action expert. A single checkpoint therefore supports both vision-only and tactile-conditioned deployment. To scale this supervision, we build HumanTouch, a 1,000-hour dataset of full-hand tactile human manipulation, and pretrain Spark-0 on it together with egocentric video, robot data, and simulation. We also release SparkArena, which pairs vision-only simulated tasks with tactile-conditioned real-robot tasks on one dexterous embodiment. Spark-0 achieves the highest mean success rate on both SparkArena tracks and ranks first on all eight aggregate metrics of the Ego Humanoid Manipulation Benchmark. Compared with vision-only pretraining on the same data and compute with touch discarded, retaining the touch of 1,000 hours of HumanTouch raises vision-only success on Ego Humanoid from 52.5% to 71.7%, and success on SparkArena-Real, where touch is also used at deployment, from 44.0% to 52.0%, indicating that touch serves not only as a policy input but also as scalable supervision for dexterous visuomotor pretraining. The Website is available at: https://xsparkai.com/Spark-0.