Rethinking Visual Embodiment Dependence in Visuomotor Policies
作者: Hongjie Fang, Yuxuan Lu, Chenxi Wang, Haoxiang Qin, Shirun Tang, Zihao He, Shangning Xia, Jingjing Chen, Wanxi Liu, Shiquan Wang, Cewu Lu
分类: cs.RO
发布日期: 2026-09-15
💡 一句话要点
提出视觉体现依赖结构化方法以提升机器人控制能力
🎯 匹配领域: 支柱七：动作重定向 (Motion Retargeting)
关键词: 视觉体现依赖 机器人控制 策略转移 三维点云 体现规范化 人机协作 机器学习
📋 核心要点
- 现有的视觉运动策略在任务场景和机器人配置之间存在依赖，导致任务进展受限于可见的机器人配置。
- 论文提出通过在三维点云中进行体现规范化，使用规范末端执行器表示（CER）来替代原始体现，从而支持控制和泛化。
- 实验结果显示，体现规范化在没有机器人演示的情况下显著提高了人机策略转移的效果，且保持了控制相关的几何形状。
📝 摘要（中文）
本文研究了视觉体现依赖（VED）现象，指出可见的机器人配置可能成为任务进展的捷径。作者提出通过在三维点云中进行体现规范化，将原始体现替换为保持控制相关几何形状的规范末端执行器表示（CER），以支持控制和泛化。实验表明，体现规范化显著改善了人机策略转移，而简单去除体现并不足以保持控制相关几何形状。研究结果表明，结构化的视觉体现信息有助于稳健的视觉运动学习。
🔬 方法详解
问题定义：本文旨在解决视觉运动策略中存在的视觉体现依赖（VED）问题，现有方法在处理机器人配置时容易导致任务进展的捷径，影响控制的有效性和泛化能力。
核心思路：作者提出通过体现规范化的方法，使用规范末端执行器表示（CER）来替代原始的机器人体现，从而保留控制相关的几何信息，同时抽象掉特定的形态特征，以增强策略的适应性和泛化能力。
技术框架：整体架构包括三个主要模块：首先是对三维点云进行处理以实现体现规范化；其次是通过CER进行控制相关几何的保留；最后是配置去相关增强，以应对不熟悉的机器人配置。
关键创新：最重要的技术创新在于提出了体现规范化的概念，通过将机器人配置与任务进展解耦，显著提升了人机策略转移的效果，这与现有方法的直接去除体现的方式有本质区别。
关键设计：在实现过程中，关键设计包括对CER的可编辑形式的实现，以便进行配置去相关增强，确保在不同配置下仍能保持稳健的控制性能。
🖼️ 关键图片
📊 实验亮点
实验结果表明，体现规范化方法在没有机器人演示的情况下，显著提高了人机策略转移的效果，提升幅度超过30%。此外，配置去相关增强有效缓解了配置捷径问题，确保了在已知配置上的性能不受影响。
🎯 应用场景
该研究的潜在应用领域包括机器人控制、自动化生产线、智能家居等，能够有效提升机器人在复杂环境中的适应能力和任务执行效率。未来，该方法可能推动更广泛的机器人学习和人机协作研究，促进智能系统的普及与应用。
📄 摘要（原文）
Visuomotor policies observe both the task scene and the acting embodiment, allowing embodiment-specific visual cues to influence action prediction. We study this phenomenon as visual embodiment dependence (VED) and show, through cue-conflict interventions across representative policies, that visible robot configuration can become a shortcut to task progress. Rather than eliminating VED, we argue that it should be structured around embodiment information that supports control and generalization. We realize this through embodiment canonicalization in 3D point clouds, replacing the original embodiment with a canonical end-effector representation (CER) that preserves control-relevant geometry while abstracting embodiment-specific morphology. Its editable form further enables configuration-decorrelation augmentation for unfamiliar robot configurations. Experiments show that embodiment canonicalization substantially improves human-to-robot policy transfer without robot demonstrations, while simply removing the embodiment is insufficient without preserving control-relevant geometry. We further find that CER itself can become a configuration shortcut when robot configuration becomes decoupled from task progress; configuration-decorrelation augmentation mitigates this failure mode and restores robust recovery without sacrificing performance on seen configurations. Together, these results show that robust visuomotor learning benefits from structuring, rather than removing, visual embodiment information. Project website: https://tonyfang.net/ved