Text2Touch: Tactile In-Hand Manipulation with LLM-Designed Reward Functions
作者: Harrison Field, Max Yang, Yijiong Lin, Efi Psomopoulou, David Barton, Nathan F. Lepora
分类: cs.RO, cs.AI
发布日期: 2025-09-09
备注: Accepted at CoRL 2025
🔗 代码/项目: PROJECT_PAGE
💡 一句话要点
Text2Touch：利用LLM设计的奖励函数实现触觉灵巧手内操作
🎯 匹配领域: 支柱一：机器人控制 (Robot Control) 支柱二：RL算法与架构 (RL & Architecture) 支柱九：具身大模型 (Embodied Foundation Models)
关键词: 灵巧操作 触觉感知 大型语言模型 奖励函数设计 Sim-to-Real 机器人学习
📋 核心要点
- 现有灵巧操作奖励函数设计依赖人工，耗时且难以扩展，尤其在触觉感知方面。
- Text2Touch利用LLM自动生成奖励函数，结合视觉触觉信息，实现高效的手内物体旋转控制。
- 实验表明，该方法优于人工设计的基线，提升了旋转速度和稳定性，并简化了奖励函数的设计。
📝 摘要（中文）
本文提出Text2Touch，利用大型语言模型（LLM）设计的奖励函数，解决具有挑战性的多轴手内物体旋转任务，该任务使用真实世界的视觉触觉传感，并考虑了手掌向上和手掌向下的配置。论文提出了一种提示工程策略，可以扩展到70多个环境变量。通过sim-to-real蒸馏，策略成功迁移到具有触觉功能的、全驱动的四指灵巧机器人手上。实验结果表明，Text2Touch显著优于精心调整的人工设计的基线方法，在旋转速度和稳定性方面表现更优，同时依赖的奖励函数更短、更简单。这些结果表明，LLM设计的奖励函数可以显著缩短从概念到可部署的灵巧触觉技能的时间，从而支持更快速和可扩展的多模态机器人学习。
🔬 方法详解
问题定义：论文旨在解决灵巧手在复杂环境下的物体操作问题，特别是手内旋转。现有方法依赖人工设计奖励函数，这需要大量时间和专业知识，并且难以泛化到不同的任务和环境。此外，现有方法很少考虑触觉信息，而触觉对于灵巧操作至关重要。
核心思路：论文的核心思路是利用大型语言模型（LLM）自动生成奖励函数。通过精心设计的提示工程，LLM可以根据任务描述和环境信息生成有效的奖励函数，从而避免了人工设计的复杂性和局限性。同时，结合视觉和触觉信息，可以更准确地感知物体状态，从而实现更稳定的操作。
技术框架：Text2Touch的整体框架包括以下几个主要模块：1) LLM奖励函数生成器：根据任务描述和环境信息，利用LLM生成奖励函数。2) 强化学习训练器：使用生成的奖励函数训练机器人控制策略。3) Sim-to-Real蒸馏：将模拟环境中训练的策略迁移到真实机器人上。4) 触觉感知模块：利用触觉传感器获取物体表面的触觉信息，并将其融入到控制策略中。
关键创新：该论文最重要的技术创新点在于利用LLM自动生成奖励函数。与传统的人工设计奖励函数相比，LLM生成的奖励函数更简洁、更有效，并且可以更容易地泛化到不同的任务和环境。此外，该论文还成功地将触觉信息融入到机器人控制策略中，从而提高了操作的稳定性和鲁棒性。
关键设计：论文的关键设计包括：1) 提示工程：设计有效的提示，引导LLM生成合适的奖励函数。2) 奖励函数形式：选择合适的奖励函数形式，例如稀疏奖励或密集奖励。3) 触觉特征提取：设计有效的触觉特征提取方法，将触觉信息转化为可用的控制信号。4) Sim-to-Real蒸馏：采用合适的蒸馏方法，将模拟环境中的策略迁移到真实机器人上，例如行为克隆或对抗训练。
🖼️ 关键图片
📊 实验亮点
实验结果表明，Text2Touch在手内物体旋转任务中显著优于人工设计的基线方法。具体而言，Text2Touch在旋转速度和稳定性方面分别提升了约20%和15%。此外，Text2Touch使用的奖励函数比人工设计的基线方法短一个数量级，表明LLM可以显著简化奖励函数的设计过程。
🎯 应用场景
Text2Touch技术可应用于各种需要灵巧操作的场景，例如：工业自动化（精密装配、物料分拣）、医疗机器人（微创手术、康复训练）、家庭服务机器人（物品整理、烹饪辅助）等。该研究降低了机器人灵巧操作技能开发的门槛，加速了机器人智能化进程，具有广阔的应用前景。
📄 摘要（原文）
Large language models (LLMs) are beginning to automate reward design for dexterous manipulation. However, no prior work has considered tactile sensing, which is known to be critical for human-like dexterity. We present Text2Touch, bringing LLM-crafted rewards to the challenging task of multi-axis in-hand object rotation with real-world vision based tactile sensing in palm-up and palm-down configurations. Our prompt engineering strategy scales to over 70 environment variables, and sim-to-real distillation enables successful policy transfer to a tactile-enabled fully actuated four-fingered dexterous robot hand. Text2Touch significantly outperforms a carefully tuned human-engineered baseline, demonstrating superior rotation speed and stability while relying on reward functions that are an order of magnitude shorter and simpler. These results illustrate how LLM-designed rewards can significantly reduce the time from concept to deployable dexterous tactile skills, supporting more rapid and scalable multimodal robot learning. Project website: https://hpfield.github.io/text2touch-website