SWIM: Vision-Language-Grounded Soft Whole-Body Interactive Manipulation

📄 arXiv: 2609.17035v1 📥 PDF

作者: Tingcong Liu, Aye Phyu Phyu Aung, Junjie Xiong, Siyi Ma, Bo An, Ke Wu, Senthilnath Jayavelu

分类: cs.RO

发布日期: 2026-09-15

💡 一句话要点

提出SWIM框架以解决视觉语言驱动的软体机器人交互操控问题

🎯 匹配领域: 支柱一：机器人控制 (Robot Control) 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 视觉-语言-动作 软体机器人 交互操控 扩散模型 本体感知 仿真学习 智能机器人

📋 核心要点

  1. 现有方法在将语言和视觉信息转化为软体机器人全身动作指令时面临挑战，尤其是在有限示范下保持身体几何形状。
  2. SWIM框架通过结合扩散动作头和视觉软本体感知，利用共享表示将RGB观察和语言指令映射为完整的动作序列。
  3. 在仿真中，SWIM-VLA在打包、到达和抓取任务上分别取得100%、96%和88%的成功率，超越了基线方法和对照实验。

📝 摘要（中文）

软体和连续机器人通过分布式身体变形和接触实现操控，但将语言和视觉上下文转化为可执行的全身动作指令仍然是一个基本挑战。本文提出SWIM框架，将初始RGB观察和语言指令映射为完整的动作指令序列。其视觉-语言-动作（VLA）策略SWIM-VLA结合了扩散动作头和视觉软本体感知（VSP），通过RGB观察、语言指令和腱状态的共享表示进行学习。扩散头建模专家指令块的条件分布，而VSP则利用仿真真实值监督有序的身体锚点预测，鼓励表示在有限示范中保持身体几何形状。通过从不断演变的仿真观察中进行迭代虚拟展开，支持命令序列的物理执行，内在的顺应性提供局部接触适应，无需在线策略查询。

🔬 方法详解

问题定义：本文旨在解决如何将语言和视觉信息有效转化为软体机器人可执行的全身动作指令。现有方法在这一过程中常常无法保持身体几何形状，尤其是在示范数据有限的情况下。

核心思路：SWIM框架的核心思路是通过视觉-语言-动作（VLA）策略，将初始的RGB观察和语言指令映射为完整的动作指令序列。通过结合扩散动作头和视觉软本体感知（VSP），实现对动作的有效建模和执行。

技术框架：SWIM的整体架构包括三个主要模块：RGB观察输入、语言指令输入和动作指令输出。扩散动作头负责建模条件分布，而VSP则通过仿真真实值监督身体锚点的预测。

关键创新：SWIM的主要创新在于将扩散动作头与VSP结合，通过共享表示来增强动作指令的生成能力。这种设计使得模型在有限示范下仍能保持身体几何形状，显著提升了操控的精确性。

关键设计：在模型设计中，采用了特定的损失函数来平衡扩散头和VSP的学习目标，同时在网络结构上引入了多层感知器，以增强模型的表达能力和泛化能力。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

SWIM在仿真环境中实现了打包、到达和抓取任务的成功率分别为100%、96%和88%，在硬件测试中成功率为100%、80%和75%。与直接在线部署相同策略检查点的结果相比，SWIM在各项任务上均表现出显著提升，尤其是在抓取任务中，成功率提高了55%。

🎯 应用场景

SWIM框架在软体机器人领域具有广泛的应用潜力，尤其是在需要精细操控的场景，如医疗手术、物品搬运和人机交互等。其能够有效将语言指令转化为具体动作，为未来的智能机器人系统提供了新的思路和方法。

📄 摘要（原文）

Soft and continuum robots enable manipulation through distributed body deformation and contact, yet translating language and visual context into executable whole-body actuation remains a fundamental challenge. We present SWIM, a framework that maps an initial RGB observation and a language instruction to a complete actuation-command sequence. Its vision-language-action (VLA) policy, SWIM-VLA, combines a diffusion action head with Visual Soft Proprioception (VSP) through a shared representation of RGB observations, language instructions, and tendon states. The diffusion head models conditional distributions of expert command chunks, while VSP supervises ordered body-anchor predictions using simulation ground truth, encouraging the representation to retain body geometry when learning from limited demonstrations. Embodied mechanical intelligence supports physical execution of command sequences generated through iterative virtual rollout from evolving simulated observations, with intrinsic compliance providing local contact adaptation without online policy queries. We evaluate SWIM on packing, reaching, and grasping on a planar tendon-driven soft robot, with grasping targets anchored. In simulation, SWIM-VLA achieves success rates of 100\%, 96\%, and 88\%, respectively, outperforming an adapted OpenVLA-OFT baseline and controlled ablations. On hardware, SWIM achieves success rates of 100\%, 80\%, and 75\%, compared with 75\%, 40\%, and 25\% for direct online deployment of the same policy checkpoint.