Embodied Task Agents Can Perform Fine Manipulation through Tactile In-Context Learning
作者: Yubang Wang, Zezheng Huai, Yifei Zhang, Jinhao Wu, Yitong Chen, Haozhe Zhang, Sixian Li, Jingjing Gong, Zhenyang Lin, Ziyang Chen, Xipeng Qiu
分类: cs.RO
发布日期: 2026-10-20
备注: 24 pages. Project page: https://no-518.github.io/tactile-eta/
💡 一句话要点
提出Tactile-ETA以解决细致操作中的触觉学习问题
🎯 匹配领域: 支柱一：机器人控制 (Robot Control)
关键词: 具身任务代理 触觉学习 上下文学习 机器人操作 多模态感知
📋 核心要点
- 现有方法在执行精细操作时缺乏有效的触觉学习机制，导致成功率低。
- 论文提出Tactile-ETA系统，通过上下文学习将触觉经验融入具身任务代理，提升操作能力。
- 实验结果显示，添加触觉观察后，模拟任务成功率从15.75%提升至24.00%，真实任务成功率从0%提升至60%。
📝 摘要（中文）
本研究探讨了具身任务代理是否能利用触觉经验在无需特定任务模型训练的情况下执行精细操作。通过Tactile-ETA系统，研究者将触觉经验融入具身任务代理，采用上下文学习方法。成功的专家演示展示了操作过程中接触的变化。研究表明，结合触觉观察的演示显著提高了模拟操作任务的成功率，尤其是在真实机器人任务中，视觉和触觉观察对齐的演示将成功率从0%提升至60%。
🔬 方法详解
问题定义：本研究旨在解决具身任务代理在执行精细操作时缺乏有效触觉学习的问题。现有方法通常依赖于特定任务的模型训练，限制了其灵活性和适应性。
核心思路：论文的核心思路是通过Tactile-ETA系统，利用上下文学习将触觉经验融入具身任务代理，使其能够在不更新模型参数的情况下选择合适的操作。
技术框架：Tactile-ETA系统的整体架构包括数据采集、触觉观察记录、专家演示配对、以及基于当前视觉、触觉观察和本体感知的动作选择模块。系统通过结合多种感知输入来提升操作的成功率。
关键创新：最重要的技术创新在于将触觉观察与视觉信息结合，形成了一种新的上下文学习机制。这种机制使得代理能够在多种感知输入下进行有效决策，显著提升了操作的灵活性和成功率。
关键设计：在实验中，研究者记录了机器人运动的触觉观察，并在每次运动的开始和结束时保留触觉图像，同时在触觉图像显著变化的时间点添加邻近的时间点。通过这种设计，代理能够更好地理解操作过程中的触觉变化。
🖼️ 关键图片
📊 实验亮点
实验结果显示，在四个模拟操作任务中，添加触觉观察后，成功率从15.75%提升至24.00%。在真实机器人任务中，视觉和触觉观察对齐的演示将成功率从0%提升至60%。这些数据表明，触觉经验在执行精细操作中的重要性。
🎯 应用场景
该研究的潜在应用领域包括机器人抓取、装配和其他需要精细操作的任务。通过引入触觉学习，具身任务代理能够在复杂环境中更灵活地执行任务，提升机器人在实际应用中的表现和适应能力，未来可能在工业自动化、服务机器人等领域产生深远影响。
📄 摘要（原文）
Can embodied task agents use tactile experience to perform fine manipulation without task-specific model training? We investigate this capability through Tactile-ETA, a system that incorporates tactile experience into an embodied task agent through in-context learning. Successful expert demonstrations show how contact changes during manipulation. We pair each recorded robot movement with its camera views and bilateral tactile observations. We keep tactile observations at the start and end of each movement and add two neighboring time points when the tactile images change markedly in between. The agent combines these demonstrations with current vision, tactile observations, and proprioception to select actions through general-purpose robot tools, without updating model parameters. Across four simulated manipulation tasks, adding tactile observations to the same two expert demonstrations increases average success from 15.75% to 24.00%, with current sensing and execution interfaces held fixed. Further experiments show that performance depends on the sensory content and representation of demonstrations, while comparing agent models on Lift Bottle reveals substantial differences under the same system configuration. On the real-robot tasks, demonstrations with aligned visual and tactile observations increase the task success rate from 0% to 60%. These findings demonstrate the feasibility of using tactile experience in context for fine manipulation and suggest a path toward extending embodied task agents to additional sensory inputs.