VidAct: Learning Manipulation from In-the-Wild Videos with Object-Centric 3D Awareness
作者: Hang Li, Mingxin Zhang, Zihan Wu, Yang Tian, Dong Chen, Fengyi Shen, Yuan Meng, Xiangtong Yao, Heng Zhang, Ziyuan Liu, Zhenshan Bing, Alois Knoll
分类: cs.RO
发布日期: 2026-09-29
💡 一句话要点
提出VidAct以解决视频学习操控中的3D几何感知问题
🎯 匹配领域: 支柱一：机器人控制 (Robot Control) 支柱二：RL算法与架构 (RL & Architecture) 支柱七：动作重定向 (Motion Retargeting)
关键词: 视频学习 操控策略 3D几何感知 残差轨迹转移 零-shot部署 物体中心学习 机器人技术
📋 核心要点
- 现有方法在视频学习操控中面临重建依赖于特定视角和缺乏物体级3D几何感知的挑战。
- VidAct通过从单个视频中重建物体网格和运动，采用残差轨迹转移，解决了适应新物体配置的问题。
- 实验表明，VidAct在多种视频源上实现了零-shot部署，且每帧的3D监督显著提升了策略的泛化能力。
📝 摘要（中文）
视频演示为学习操控提供了一种可扩展的替代方案，但现有的重建方法通常依赖于受限的相机视角或人机重定向，且重建的轨迹难以适应新物体配置。本文提出VidAct，一个高效的视频到机器人框架，从每个任务的单个单目视频中学习物体中心的3D感知操控策略，并实现零-shot的现实世界部署。VidAct通过重建物体网格和运动，采用残差轨迹转移和预测完整物体点云等关键技术，显著提升了策略的泛化能力和模拟到现实的成功率。
🔬 方法详解
问题定义：本文旨在解决现有视频学习操控方法在物体级3D几何感知和轨迹适应性方面的不足，特别是重建依赖于特定相机视角和人机重定向的问题。
核心思路：VidAct的核心思路是从单个单目视频中学习物体中心的3D感知操控策略，避免了对特定相机视角的依赖，并通过残差轨迹转移技术实现对新物体配置的适应。
技术框架：VidAct的整体架构包括三个主要模块：物体网格和运动重建模块、残差轨迹转移模块以及策略学习模块。前者负责从任意视频中提取物体信息，后者则确保运动轨迹在新配置下的形状保持，最后的模块则进行策略学习。
关键创新：VidAct的主要创新在于其能够在不依赖特定相机视角的情况下，重建物体的3D几何信息，并通过每帧的完整物体点云预测提供密集的物体监督，这与现有方法的依赖于特定视角和重定向的方式有本质区别。
关键设计：在设计上，VidAct采用了残差轨迹转移技术，确保运动形状的保留，损失函数则结合了物体姿态和3D几何的监督信息，以提高策略的泛化能力和模拟到现实的成功率。具体的网络结构和参数设置在实验部分进行了详细描述。
🖼️ 关键图片
📊 实验亮点
实验结果显示，VidAct在多种视频源上实现了零-shot部署，且每帧的完整物体3D监督显著提升了策略的泛化能力，模拟到现实的成功率提高了XX%（具体数据待补充），相较于基线方法，表现出更好的轨迹适应性和形状保留能力。
🎯 应用场景
VidAct的研究成果在机器人操控、自动化生产线以及人机协作等领域具有广泛的应用潜力。通过从视频中学习操控策略，机器人能够更灵活地适应不同的物体和环境，提高了操作的效率和准确性。未来，该技术可能推动智能机器人在复杂环境中的自主操作能力。
📄 摘要（原文）
Video demonstrations offer a scalable alternative to costly robot data for learning manipulation, yet existing reconstruction-based approaches often rely on constrained camera viewpoints or human-to-robot retargeting, while the reconstructed trajectories are difficult to adapt to new objects configurations without distorting the trajectory shape. Another key limitation is that the resulting policies often lack precise object-level 3D geometry awareness, limiting object grounding and object shape awareness critical for precise manipulation. To bridge these gaps, we propose VidAct, an efficient video-to-robot framework that learns object-centric, 3D-aware manipulation policies from a single monocular video per task and enables zero-shot real-world deployment. VidAct consists of three key components. First, VidAct reconstructs object meshes and motion from arbitrary demo videos and canonicalizes the motion in the static object frame, avoiding embodiment-specific retargeting and accommodating diverse camera viewpoints. Second, VidAct employ residual trajectory transfer for adapting the reconstructed motion to novel object configurations while preserving its motion shape. Finally, as the key policy-learning component, VidAct predicts simulation-provided privileged complete-object point clouds at each frame as an auxiliary task while retaining RGB-only deployment, providing dense object-centric supervision over both object pose and 3D geometry. Experiments on human, robot, generated, and internet videos demonstrate broad video applicability and zero-shot deployment. Per-frame complete-object 3D supervision improves policy generalization and sim-to-real success, while residual trajectory transfer enables reliable trajectory adaptation with better shape preservation.