TacSushi: Tactile-Grounded World-Action Modeling for Dexterous Sushi Manipulation
作者: Haodi Hu, Kaen Kogashi, Toshiaki Koike-Akino
分类: cs.RO, cs.AI, cs.LG
发布日期: 2026-09-17
备注: 8 pages, 5 figures
💡 一句话要点
提出TacSushi以解决精细寿司操控中的不确定性问题
🎯 匹配领域: 支柱一：机器人控制 (Robot Control)
关键词: 触觉融合 机器人操控 食品处理 未来结果预测 智能厨房 深度学习 多模态学习
📋 核心要点
- 现有的食品操控方法在面对变形和不确定接触时表现不佳，难以保证操作的成功率。
- TacSushi通过结合触觉信息和未来结果预测，提升了对复杂操作的适应能力，增强了机器人对环境的理解。
- 实验结果显示，TacSushi在分布内和分布外任务中均显著提高了成功率，验证了其有效性。
📝 摘要（中文）
精细的食品操控需要在变形、遮挡和不确定接触下进行控制。本文提出TacSushi，一种基于触觉的Cosmos3世界-动作策略，通过从记录的未来结果中学习，同时基于当前观察进行操作。该方法将当前的RGB图像、语言和手部状态编码，并通过特征级门控融合将指尖触觉特征纳入动作表示。在训练过程中，条件解码器基于演示的动作片段预测记录的未来视觉观察、任务进展、相对接触风险和触觉摘要；该解码器在部署时被移除。通过340次成功和50次失败的真实机器人试验进行训练，并在三个分布内任务和两个分布外成分变体中比较六种方法。最终TacSushi在分布内成功率达到68.3%，分布外成功率为37.5%。
🔬 方法详解
问题定义：本文旨在解决精细食品操控中由于变形、遮挡和不确定接触带来的挑战。现有方法在这些情况下往往无法有效控制，导致操作失败。
核心思路：TacSushi的核心思路是通过触觉信息和未来结果的预测来增强机器人对当前操作的理解，从而提高操控的成功率。该方法通过特征级门控融合，将触觉特征有效整合到动作表示中。
技术框架：TacSushi的整体架构包括三个主要模块：首先是状态编码模块，负责将RGB图像、语言和手部状态进行编码；其次是特征级门控融合模块，将触觉信息整合到动作表示中；最后是条件解码器模块，预测未来的视觉观察和任务进展。
关键创新：TacSushi的主要创新在于引入了未来结果的监督学习机制，并通过特征级门控融合有效整合触觉信息。这一设计与传统的直接触觉拼接方法有本质区别，能够更好地应对复杂的操控任务。
关键设计：在训练过程中，使用340次成功和50次失败的试验数据，采用特定的损失函数来优化模型性能。此外，解码器在部署时被移除，确保模型在实际应用中的高效性。该方法的设计细节确保了对触觉信息的有效利用。
🖼️ 关键图片
📊 实验亮点
TacSushi在实验中表现出色，分布内成功率达到68.3%，分布外成功率为37.5%。与没有未来结果监督的基线相比，成功率显著提升，验证了特征级门控触觉融合和预测监督的互补优势。
🎯 应用场景
TacSushi的研究成果在食品加工、餐饮服务和机器人辅助烹饪等领域具有广泛的应用潜力。通过提升机器人在复杂环境中的操控能力，能够提高食品处理的效率和质量，未来可能推动智能厨房和自动化餐饮服务的发展。
📄 摘要（原文）
Dexterous food manipulation requires control under deformation, occlusion, and uncertain contact. We present TacSushi, a tactile-grounded, Cosmos3-based world-action policy that learns from recorded future consequences while acting on current observations. The backbone encodes current RGB, language, and hand state, and feature-wise gated fusion incorporates fingertip tactile features into the action representation. During training, a decoder conditioned on demonstrated action chunks predicts logged future visual observations, task progress, relative contact risk, and tactile summaries; this decoder is removed at deployment. Failed trials provide consequence supervision, but their actions are excluded from imitation. We train TacSushi on 340 successful and 50 failed real-robot trials and compare six methods in 600 separate rollouts across three in-distribution tasks and two out-of-distribution ingredient variants. To assess food quality beyond a single geometric threshold, we score terminal outcomes using an anchored visual-quality protocol that equally weights five human ratings and three vision-language-model ratings per rollout. Full TacSushi achieves 68.3% average in-distribution success and 37.5% out-of-distribution success, compared with 36.7%/10.0% without future-consequence supervision and 25.0%/17.5% with direct tactile concatenation in place of gated fusion. These comparisons support complementary benefits of feature-wise gated tactile fusion and training-only predictive supervision.