VisForce: Visual Grounding of Current and Desired Forces for Goal-Conditioned Dexterous Manipulation
作者: Jung-Woo Lee, Soo-Chul Lim
分类: cs.RO
发布日期: 2026-09-22
💡 一句话要点
提出VisForce以解决力与视觉位置对应问题
🎯 匹配领域: 支柱一：机器人控制 (Robot Control) 支柱九：具身大模型 (Embodied Foundation Models)
关键词: 视觉-语言-动作 灵巧手操作 力感知 交叉注意力 机器人抓取
📋 核心要点
- 现有的灵巧手操作方法在力与视觉位置的对应关系上存在不足，难以实现有效的力感知控制。
- VisForce通过在指尖位置上视觉化当前和期望的力，结合目标条件的交叉注意力生成力感知动作。
- 实验结果显示，VisForce在多项任务中表现优异，抓取成功率高达80%，有效提升了灵巧手操作的性能。
📝 摘要（中文）
视觉-语言-动作（VLA）模型已成为通用的机器人操作策略。然而，在灵巧手操作中，接触力通常作为独立状态或力特定表示提供，这使得力与其对应视觉位置之间的空间对应关系难以明确表示。本文提出VisForce，通过在指尖位置上视觉化当前和期望的力，解决了这一问题。VisForce在当前手腕图像和任务特定目标图像上渲染当前和期望的视觉力线索，并通过目标条件的交叉注意力将两种表示结合，生成力感知的动作。我们使用配备RH56F1灵巧手的UR10机器人对VisForce进行了评估，结果显示在力条件抓取和多阶段操作任务中，VisForce表现出一致的抓握力响应，并在鸡蛋和牙膏管的抓取与提升中分别达到了70%和80%的成功率。
🔬 方法详解
问题定义：本文旨在解决灵巧手操作中力与视觉位置之间的空间对应关系不明确的问题。现有方法通常将接触力作为独立状态处理，导致力感知控制的效果不佳。
核心思路：VisForce通过在指尖位置上视觉化当前和期望的力，利用目标条件的交叉注意力机制，将视觉信息与力信息有效结合，从而生成更为精准的力感知动作。
技术框架：VisForce的整体架构包括两个主要模块：一是当前手腕图像的力线索渲染，二是任务特定目标图像的力线索渲染。通过交叉注意力机制，这两个模块的输出被结合以生成最终的动作指令。
关键创新：VisForce的核心创新在于将力的视觉表示与指尖位置对齐，形成了力感知的视觉线索，这与传统方法的分离表示形成了本质区别。
关键设计：在设计中，VisForce采用了特定的损失函数来优化力感知的准确性，并在网络结构上进行了调整，以确保视觉信息与力信息的有效融合。
🖼️ 关键图片
📊 实验亮点
在实验中，VisForce在力条件抓取任务中表现出色，随着期望力的增加，抓握力响应保持一致。对于鸡蛋和牙膏管的抓取与提升，成功率分别达到了70%和80%。在多阶段操作任务中，最终成功率为70%、55%和40%，显示出该方法的有效性和可靠性。
🎯 应用场景
该研究的潜在应用领域包括机器人抓取、物体转移和复杂操作任务等。通过提高灵巧手操作的力感知能力，VisForce能够在工业自动化、服务机器人和医疗机器人等多个领域发挥重要作用，提升机器人在动态环境中的适应能力和操作精度。
📄 摘要（原文）
Vision-Language-Action (VLA) models have emerged as general-purpose robotic manipulation policies. However, in dexterous hand manipulation, contact forces are typically provided as separate states or force-specific representations, making it difficult to explicitly represent the spatial correspondence between force and their corresponding visual locations. In this work, we propose VisForce, which visually grounds the current and desired forces at their corresponding fingertip locations. VisForce renders current and desired visual force cues on the current wrist image and a task-specific goal image, and combines the two representations through goal-conditioned cross-attention to generate force-aware actions. We evaluate VisForce using a real UR10 robot equipped with an RH56F1 dexterous hand through force-conditioned grasping and three multi-stage manipulation tasks. In force-conditioned grasping experiments, VisForce exhibited a consistent grip-force response as the desired force increased, and achieved grasp-and-lift success rates of 70% and 80% for an egg and a toothpaste tube, respectively. It further achieved final success rates of 70%, 55%, and 40% on cup insertion/bottle pouring, tong-assisted bread transfer, and slip-modulated peg-in-hole, respectively. These results show that fingertip-aligned visual force representations can be effectively used for force-aware conditioning in VLA-based dexterous hand manipulation.