LocoPilot: Single-Operator Bilateral Teleoperation for Loco-Manipulation Policy Learning
作者: Antonio Langella, Giovanni Minelli, Giovanni B. Dessy, Lorenzo Amatucci, Giulio Turrisi, Victor Barasuol, Claudio Semini
分类: cs.RO
发布日期: 2026-10-20
🔗 代码/项目: GITHUB
💡 一句话要点
提出LocoPilot以解决单操作者双向遥控的挑战
🎯 匹配领域: 支柱一：机器人控制 (Robot Control) 支柱二：RL算法与架构 (RL & Architecture) 支柱九：具身大模型 (Embodied Foundation Models)
关键词: 双向遥控 运动操控 数据收集 触觉反馈 机器人学习 人机交互 四足机器人 操纵臂
📋 核心要点
- 现有方法在收集运动操控演示时，无法同时捕捉底盘和操纵臂的协调运动，导致灵活性不足。
- LocoPilot通过单操作者双向遥控框架，结合机器人在环的数据收集和力反馈，解决了现有方法的局限性。
- 实验表明，LocoPilot在多个运动操控任务中表现优异，能够在物理机器人上直接部署，无需额外的动作重定向。
📝 摘要（中文）
学习运动操控策略需要捕捉目标机器人上协调的底盘和臂部运动。机器人自由接口允许独立于目标机器人收集演示，增加灵活性，但未能直接捕捉平台特定的指令和感知信息。本文提出LocoPilot，一个单操作者双向遥控和数据收集框架，应用于12自由度的Unitree Go2四足机器人和6自由度的AgileX Piper L操纵臂。通过手持控制器实现底盘、姿态、操纵器和夹持器的同步控制，同时估计交互力并通过被动约束的触觉通道反馈给操作者。我们在多个运动操控任务中评估该接口，并通过微调MolmoAct2在物理机器人上进行验证，未使用动作重定向或额外的逆向运动学。
🔬 方法详解
问题定义：本文旨在解决在运动操控策略学习中，如何有效收集底盘与操纵臂协调运动的数据。现有方法在灵活性和平台特定信息捕捉方面存在不足。
核心思路：LocoPilot通过单操作者双向遥控，允许操作者同时控制底盘和操纵臂，并通过触觉反馈增强操作者对交互力的感知，从而提高数据收集的有效性。
技术框架：LocoPilot的整体架构包括一个12自由度的四足机器人和一个6自由度的操纵臂，配合手持控制器实现同步控制。系统通过ROS 2管道记录多模态观察数据，并生成统一的11维动作接口。
关键创新：LocoPilot的独特之处在于其能够在不依赖运动捕捉设备的情况下，提供力反馈，并在数据收集和策略部署中使用相同的动作接口，显著简化了操作流程。
关键设计：系统设计中，采用了被动约束的触觉通道来反馈交互力，确保操作者能够实时感知操控效果，同时在数据收集阶段使用了多模态观察记录，提升了数据的丰富性和准确性。
🖼️ 关键图片
📊 实验亮点
实验结果显示，LocoPilot在多个运动操控任务中表现优异，能够在物理机器人上直接部署而无需动作重定向，验证了其在实际应用中的有效性和可靠性。
🎯 应用场景
LocoPilot的研究成果在机器人遥控、自动化操作和人机交互等领域具有广泛的应用潜力。其灵活的数据收集和策略学习能力，可以为未来的智能机器人系统提供更高效的操控解决方案，推动机器人在复杂环境中的应用。
📄 摘要（原文）
Learning loco-manipulation policies requires demonstrations that capture coordinated base and arm motion on the target embodiment. Robot-free interfaces allow demonstrations to be collected independently of the target robot, increasing flexibility but without directly capturing platform-specific commands, proprioception, and body-mounted observations. On-robot teleoperation allows to capture these signals directly, but requires an interface capable of commanding the complete system concurrently. This paper presents LocoPilot, a single-operator bilateral teleoperation and data-collection framework implemented on a 12-DoF Unitree Go2 quadruped equipped with a 6-DoF AgileX Piper L manipulator, an Intel RealSense D435 wrist camera, and an Intel RealSense D405 head camera. A second 6-DoF Piper L arm, used as the leader and two handheld controllers provide simultaneous control of the base, body posture, manipulator, and gripper. The follower arm interaction forces are estimated without a dedicated force/torque sensor and rendered to the operator through a passivity-constrained haptic channel. A ROS~2 pipeline records synchronized multimodal observations together with a unified 11D action shared by teleoperation and policy deployment. Compared to prior work, LocoPilot uniquely unifies robot-in-the-loop legged data collection, force feedback without motion-capture instrumentation, and the same action interface at deployment. We evaluate the interface across multiple loco-manipulation tasks and validate the complete collection-to-deployment pipeline by fine-tuning MolmoAct2 \cite{MOLMO} on pick-and-place demonstrations and deploying on the physical robot without action retargeting or additional inverse kinematics. Code available at: https://github.com/iit-DLSLab/LocoPilot