Praxis: Distilling Physical Interaction Priors from Egocentric Videos for Generalizable Whole-Body Manipulation
作者: Shuliang He, Ruiyan Xu, Bo Yue, Hengming Zhang, Huayi Zhou, Shuai Wang, Wei-Shi Zheng, Guiliang Liu
分类: cs.RO
发布日期: 2026-09-25
💡 一句话要点
提出Praxis框架以解决移动人形机器人操控中的数据不足问题
🎯 匹配领域: 支柱一：机器人控制 (Robot Control) 支柱六：视频提取与匹配 (Video Extraction)
关键词: 全身操控 物理交互 自我中心视频 闭环校准 在线感知 灵巧操控 泛化能力 机器人技术
📋 核心要点
- 现有方法在移动人形机器人操控中面临从有限数据中学习精确手-物体交互的挑战。
- 本文提出Praxis框架，通过结合物理交互先验和闭环校准，实现全身操控的泛化能力。
- 实验结果显示，该框架在五个操控任务中实现了显著的空间和视觉泛化，且能有效应对外部干扰。
📝 摘要（中文）
移动人形机器人的操控需要在可用工作空间内实现精确的手-物体交互，然而从有限的任务特定数据中学习这些行为仍然具有挑战性。为此，本文提出了Praxis，一个结合了一次性自我中心视频演示的物理交互先验、闭环姿态校准和在线感知的全身操控框架。该框架协调三个阶段：基于视觉-语言的导航、闭环姿态校准以对齐手臂工作空间，以及与上肢和下肢同步控制的灵巧操控。在线视觉反馈能够在新物体姿态和场景配置下重新调整交互几何，而触觉反馈则使手部动作适应实际接触条件。实验表明，该方法在五个长时间操控任务中展示了空间、视觉和跨物体的泛化能力，并能在所有三个阶段中恢复外部物理干扰。
🔬 方法详解
问题定义：本文旨在解决移动人形机器人在操控任务中因数据不足导致的学习困难，现有方法往往依赖于大量的任务特定数据，限制了其泛化能力。
核心思路：Praxis框架的核心思路是通过一次性自我中心视频演示提取物理交互先验，并结合闭环姿态校准和在线感知，来实现灵活的全身操控。这样的设计使得机器人能够在不同的物体姿态和场景配置下进行有效的操控。
技术框架：Praxis框架分为三个主要阶段：第一阶段是基于视觉-语言的导航，机器人定位目标物体；第二阶段是闭环姿态校准，确保手臂与工作空间的对齐；第三阶段是灵巧操控，协调上肢和下肢的动作。
关键创新：该框架的创新点在于能够通过单一的人类演示来指定每个操控技能，而无需进行任务特定的操控策略再训练。这一方法显著提高了操控的灵活性和适应性。
关键设计：在技术细节上，框架采用了在线视觉反馈机制来重新调整交互几何，并利用触觉反馈来适应实际接触条件，确保手部动作的精确性。
🖼️ 关键图片
📊 实验亮点
实验结果表明，Praxis框架在五个长时间操控任务中实现了空间、视觉和跨物体的泛化能力，能够有效应对外部物理干扰，展示了在复杂环境下的强大适应性。具体性能数据和对比基线未在摘要中提供，需参考原文获取。
🎯 应用场景
该研究的潜在应用领域包括服务机器人、工业自动化和人机协作等场景。通过提升机器人在复杂环境中的操控能力，Praxis框架能够在实际应用中实现更高的灵活性和效率，推动智能机器人技术的进一步发展。
📄 摘要（原文）
Mobile humanoid manipulation requires both reaching a usable workspace and preserving precise hand-object interactions as object poses and contact conditions change. Learning these behaviors from limited task-specific data remains challenging. To bridge this gap, we introduce Praxis, a whole-body manipulation framework that combines physical interaction priors from one-shot egocentric video demonstrations with closed-loop posture calibration and online perception. The framework coordinates three stages: vision-language-guided navigation toward target objects, closed-loop posture calibration to align the arm-hand workspace, and dexterous manipulation with synchronized upper- and lower-body control. Online visual feedback re-grounds demonstrated interaction geometry under new object poses and scene configurations, while tactile feedback adapts hand motions to actual contact conditions. Each manipulation skill is specified by one human demonstration, without task-specific manipulation-policy retraining. Experiments across five long-horizon manipulation tasks demonstrate spatial, visual, and cross-object generalization, as well as recovery from external physical disturbances across all three stages.