From Tabletop to Walking Bot: Deploying a VLA Model on a Legged Manipulator Robot
作者: Giovanni Minelli, Antonio Langella, Giovanni B. Dessy, Lorenzo Amatucci, Giulio Turrisi, Victor Barasuol, Claudio Semini
分类: cs.RO
发布日期: 2026-10-23
💡 一句话要点
提出VLA模型以解决四足机器人操控问题
🎯 匹配领域: 支柱一：机器人控制 (Robot Control) 支柱九：具身大模型 (Embodied Foundation Models)
关键词: 视觉-语言-动作 四足机器人 闭环操控 模型适应 多自由度控制
📋 核心要点
- 现有的VLA模型在固定基座的机械臂上表现良好，但在四足机器人上面临控制协调的挑战。
- 论文提出了一种新的适应策略，通过联合控制基座导航和末端执行器运动来实现闭环操控。
- 实验结果表明，扩展演示覆盖可减少30%的末端执行器误差，并引入新技能不会降低性能。
📝 摘要（中文）
视觉-语言-动作（VLA）模型通常在广泛多样的数据集上进行预训练，然后在针对特定目标机器人的较小数据集上进行微调。将固定基座的机械臂转移到四足机器人上，虽然扩展了工作空间，但也改变了控制方式，需同时协调基座导航、身体姿态和末端执行器运动。本文研究了这一变化在数据收集、模型适应和推理设计中的实际需求，以实现Unitree Go2与AgileX Piper臂的闭环运动操控。我们报告了使真实机器人部署可行的选择，包括模型变体、动作时间范围和演示约定，并通过针对拾取和放置任务的研究，展示了扩展演示覆盖如何减少30%的末端执行器误差，以及引入次要技能（如推而非抓）如何在不降低基线性能的情况下引入新的行为模式。最后，闭环真实世界实验验证了数据集组成对成功与失败的影响，验证了更复杂运动操控的管道。
🔬 方法详解
问题定义：本文旨在解决将VLA模型从固定基座机械臂迁移到四足机器人时的控制协调问题。现有方法在动态环境中难以有效控制多自由度的机器人，导致操控精度下降。
核心思路：通过联合控制基座导航、身体姿态和末端执行器运动，论文提出了一种新的模型适应策略，以实现更复杂的运动操控。这样的设计使得机器人能够在动态环境中更灵活地执行任务。
技术框架：整体架构包括数据收集、模型适应和推理设计三个主要阶段。数据收集阶段关注多样化的演示数据，模型适应阶段则针对特定任务进行微调，推理设计则确保在真实环境中有效执行。
关键创新：最重要的技术创新在于将VLA模型的应用扩展到四足机器人，解决了多自由度控制的挑战。与现有方法相比，本文的策略能够更好地适应动态环境中的操控需求。
关键设计：在模型选择上，论文探讨了不同的模型变体和动作时间范围的设置，采用了特定的损失函数以优化末端执行器的运动精度，同时引入了多种演示约定以增强数据覆盖率。
📊 实验亮点
实验结果显示，扩展演示覆盖可将末端执行器的误差降低30%。此外，引入次要技能（如推而非抓）能够在不降低基线性能的情况下，增加新的行为模式。这些结果验证了所提出方法的有效性和实用性。
🎯 应用场景
该研究的潜在应用领域包括服务机器人、物流自动化和救援机器人等。通过实现复杂的运动操控，四足机器人能够在多样化的环境中执行更复杂的任务，提升其实际应用价值。未来，该技术可能推动机器人在动态环境中的广泛应用，改变传统的机器人操控方式。
📄 摘要（原文）
Vision-language-action (VLA) models are typically pretrained on broad, diverse datasets and subsequently fine-tuned on a comparatively small dataset tailored to a specific target robot. Such adaptation recipe is now widely established, achieving its most mature results on fixed-base arms due to their static base dynamics and consistent reference frame. Mounting the same arm on a quadruped extends the workspace to the entire floor, but fundamentally changes the embodiment: rather than controlling the arm in isolation, the policy must jointly coordinate base navigation, body posture, and end-effector motion. In this work, we study the practical demands of this embodiment change across data collection, model adaptation, and inference design to achieve closed-loop loco-manipulation on a Unitree Go2 with an AgileX Piper arm. We report the choices that made this real-robot deployment feasible, namely model variant, action horizon, and demonstration conventions, together with a study tailored to a pick-and-place task, separating data coverage from model capacity. We show that expanding demonstration coverage reduces held-out end-effector error by 30%, and incorporating secondary skills (such as pushing rather than grasping) introduces new behavioral modes without degrading baseline performance. Finally, closed-loop real-world experiments show how dataset composition shapes success and failure, validating the pipeline for more complex loco-manipulation.