Learning Wheelchair Tennis Navigation from Broadcast Videos with Domain Knowledge Transfer and Diffusion Motion Planning
作者: Zixuan Wu, Zulfiqar Zaidi, Adithya Patil, Qingyu Xiao, Matthew Gombolay
分类: cs.RO
发布日期: 2024-09-29 (更新: 2025-05-08)
备注: This manuscript has been accepted by 2025 IEEE International Conference on Robotics & Automation (ICRA)
💡 一句话要点
提出基于扩散运动规划的零样本知识迁移框架，用于轮椅网球导航
🎯 匹配领域: 支柱一：机器人控制 (Robot Control) 支柱二：RL算法与架构 (RL & Architecture)
关键词: 轮椅网球 机器人导航 零样本学习 扩散模型 运动规划
📋 核心要点
- 现有方法难以从非结构化视频中学习运动策略，且泛化性不足，难以适应真实机器人系统的约束。
- 该方法通过扩散模型模仿学习，从网络视频中提取运动策略，并进行领域知识迁移，实现零样本学习。
- 实验表明，该方法在轮椅网球导航任务中取得了显著成功，在真实场景中达到了较高的导航成功率。
📝 摘要（中文）
本文提出了一种新颖且具有泛化性的零样本知识迁移框架，该框架能够从网络视频中提取专家级的运动导航策略，并将其迁移到具有对抗约束和非分布图像轨迹的机器人系统中。该流程通过从多个局部视图重建完整的3D任务空间，将其扭曲到2D图像空间，并在该2D空间内闭环规划，以及将受约束的感兴趣运动转移回任务空间，从而实现基于扩散的模仿学习。此外，我们证明了学习到的策略可以作为局部规划器与位置控制结合使用。我们将此框架应用于轮椅网球导航问题，以引导轮椅进入击球区域。我们的流程在到达真实世界记录的网球轨迹时，使用物理机器人轮椅实现了97.67%的导航成功率，并在一个全尺寸网球场上的真实世界、实时实验中实现了68.49%的成功率。
🔬 方法详解
问题定义：论文旨在解决如何让轮椅机器人学习轮椅网球运动中的导航策略，特别是如何从公开的网球比赛视频中学习，并将其迁移到真实的轮椅机器人上。现有方法的痛点在于，直接从视频中学习运动策略非常困难，因为视频数据通常是高维、非结构化的，并且与真实机器人系统的状态空间存在差异。此外，真实机器人系统还存在运动约束和环境干扰等问题，使得直接应用从视频中学习到的策略变得不可行。
核心思路：论文的核心思路是利用扩散模型进行模仿学习，从视频中学习专家的运动轨迹，然后通过领域知识迁移，将这些轨迹映射到机器人系统的控制空间中。具体来说，首先从多个视角重建3D任务空间，然后将其投影到2D图像空间，在这个2D空间中进行运动规划，最后将规划结果转换回3D任务空间，控制轮椅机器人运动。这种方法的核心在于将复杂的3D运动规划问题简化为2D图像空间中的规划问题，从而降低了学习难度。
技术框架：整体框架包括以下几个主要模块：1) 3D任务空间重建：从多个视频视角重建3D网球场和球的轨迹。2) 2D图像空间映射：将3D任务空间投影到2D图像空间，形成一个可规划的2D环境。3) 扩散模型运动规划：在2D图像空间中使用扩散模型学习运动策略，生成运动轨迹。4) 运动轨迹反向映射：将2D运动轨迹反向映射回3D任务空间，得到轮椅机器人的控制指令。5) 机器人运动控制：使用位置控制算法控制轮椅机器人按照规划的轨迹运动。
关键创新：论文的关键创新在于：1) 零样本知识迁移：能够从非结构化的网络视频中学习运动策略，并将其迁移到真实的机器人系统中，无需额外的训练数据。2) 基于扩散模型的运动规划：使用扩散模型学习运动策略，能够生成更加平滑和自然的运动轨迹。3) 2D图像空间规划：将复杂的3D运动规划问题简化为2D图像空间中的规划问题，降低了学习难度。
关键设计：论文的关键设计包括：1) 使用多视角几何方法重建3D任务空间。2) 使用深度学习模型将3D任务空间投影到2D图像空间。3) 使用条件扩散模型学习运动策略，条件包括当前状态和目标状态。4) 使用逆运动学方法将2D运动轨迹反向映射回3D任务空间。5) 使用PID控制器控制轮椅机器人运动。
🖼️ 关键图片
📊 实验亮点
该论文在真实轮椅网球导航任务中取得了显著成果。在到达真实世界记录的网球轨迹时，使用物理机器人轮椅实现了97.67%的导航成功率。在一个全尺寸网球场上的真实世界、实时实验中，实现了68.49%的成功率。这些结果表明，该方法具有很强的实用性和泛化能力，能够有效地解决真实世界中的机器人导航问题。
🎯 应用场景
该研究成果可应用于各种机器人导航任务，尤其是在复杂、动态环境中。例如，可以应用于自动驾驶、服务机器人、医疗机器人等领域。通过从人类演示视频中学习运动策略，可以使机器人更加智能、灵活，更好地适应各种复杂环境。此外，该方法还可以用于辅助残疾人运动，例如轮椅网球、轮椅篮球等，提高他们的运动能力和生活质量。
📄 摘要（原文）
In this paper, we propose a novel and generalizable zero-shot knowledge transfer framework that distills expert sports navigation strategies from web videos into robotic systems with adversarial constraints and out-of-distribution image trajectories. Our pipeline enables diffusion-based imitation learning by reconstructing the full 3D task space from multiple partial views, warping it into 2D image space, closing the planning loop within this 2D space, and transfer constrained motion of interest back to task space. Additionally, we demonstrate that the learned policy can serve as a local planner in conjunction with position control. We apply this framework in the wheelchair tennis navigation problem to guide the wheelchair into the ball-hitting region. Our pipeline achieves a navigation success rate of 97.67% in reaching real-world recorded tennis ball trajectories with a physical robot wheelchair, and achieve a success rate of 68.49% in a real-world, real-time experiment on a full-sized tennis court.