PhysV2A: Reachability-Gated and Semantic-Mask-Constrained Feasibility Completion for Video-to-Robot Manipulation
作者: Haohui Huang, Junda Duan, Tao Teng, Chenguang Yang
分类: cs.RO
发布日期: 2026-07-10
💡 一句话要点
提出PhysV2A以解决视频到机器人操作的可行性问题
🎯 匹配领域: 支柱一：机器人控制 (Robot Control)
关键词: 视频操作 机器人抓取 运动学 可达性门控 语义掩码 轨迹优化 人机协作
📋 核心要点
- 现有方法在将视频生成的运动先验应用于特定机器人时面临可行性和执行性不足的挑战。
- 论文提出的PhysV2A框架通过可达性门控和语义掩码约束，优化视频派生的6D物体运动到机器人轨迹的转换。
- 实验证明，PhysV2A在任务成功率上优于视频先验和仅基于逆运动学的方法，显著减少了运动学失败率。
📝 摘要（中文）
基于视频的操作提供了来自人类示范、生成视频或RGB-D观察的物体中心运动先验，但这些先验通常与具体机器人无关，无法直接执行。本文提出了PhysV2A，一个基于可达性门控和语义掩码约束的可行性完成框架，将视频派生的6D物体运动转换为机器人可执行的操作轨迹。核心思想是将抓取可行性视为轨迹条件，而非局部的。PhysV2A通过层次化的可达性门控选择，拒绝不合适的抓取-轨迹对，并根据下游执行适用性对存活候选进行排名。实验证明，PhysV2A在四个桌面操作任务中提高了任务成功率，减少了运动学可行性失败，并生成了更好条件的轨迹。
🔬 方法详解
问题定义：本文旨在解决如何将视频生成的物体运动有效转换为特定机器人可执行的操作轨迹。现有方法通常缺乏对抓取可行性的考虑，导致执行失败。
核心思路：PhysV2A的核心思路是将抓取可行性视为与轨迹相关联的条件，而非局部特性。通过这种方式，可以更好地将视频中的运动信息与机器人运动学结合。
技术框架：PhysV2A的整体架构包括两个主要模块：首先是层次化的可达性门控选择，利用机器人运动学检查筛选不合适的抓取-轨迹对；其次是基于VLM的语义掩码识别，优化选定的轨迹。
关键创新：PhysV2A的创新在于其将抓取可行性与轨迹条件相结合的方式，显著提高了机器人操作的成功率和轨迹的可执行性，与传统方法相比，能够更好地处理复杂的操作任务。
关键设计：在设计中，PhysV2A采用了基于规则的S-Mask来识别任务关键和可放宽的笛卡尔分量，并通过冗余优先优化和有界笛卡尔放松来实现语义掩码约束的可操作性改进。具体的参数设置和损失函数设计未在摘要中详细说明，需查阅原文以获取更多信息。
🖼️ 关键图片
📊 实验亮点
实验结果表明，PhysV2A在四个桌面操作任务中显著提高了任务成功率，相较于视频先验和仅基于逆运动学的方法，减少了运动学可行性失败，并生成了更好条件的轨迹，具体提升幅度未在摘要中给出。
🎯 应用场景
该研究的潜在应用领域包括服务机器人、工业自动化和人机协作等场景。通过将视频中的操作信息有效转化为机器人可执行的轨迹，PhysV2A能够提升机器人在复杂环境中的操作能力，具有重要的实际价值和广泛的应用前景。
📄 摘要（原文）
Video-based manipulation provides object-centric motion priors from human demonstrations, generated videos, or RGB-D observations, but such priors are typically embodiment-agnostic and cannot be directly executed by a specific robot. This paper presents \textbf{PhysV2A}, a reachability-gated and semantic-mask-constrained feasibility-completion framework for converting video-derived 6D object motion into robot-executable manipulation trajectories. The key idea is to treat grasp feasibility as trajectory-conditioned rather than local: each RGB-D-generated 6-DoF grasp candidate is rigidly coupled with the recovered object motion to form a grasp-conditioned TCP trajectory hypothesis. PhysV2A then performs hierarchical reachability-gated selection, where infeasible grasp--trajectory pairs are rejected by robot-centric kinematic checks and surviving candidates are ranked by downstream execution suitability. For the selected reachable trajectory, a VLM-assisted and rule-validated S-Mask identifies task-critical and relaxable Cartesian components, enabling semantic-mask-constrained manipulability refinement through redundancy-first optimization and bounded Cartesian relaxation. Real-robot experiments on four tabletop manipulation tasks show that PhysV2A improves task success over representative video-prior and IK-only baselines, reduces kinematic-feasibility failures, and produces better-conditioned trajectories with bounded semantic deviations.