Enabling a Unified Cross-Domain Representation for Two-Finger Gripper Manipulation via Interaction-Centric Modeling
作者: Guanlin Li, Shifeng Bao, Yihan Zhao, Haitao Shen, Haoyang Li, Chen Zhao, Tong Yang, Jie Tang, Jing Zhang
分类: cs.RO, cs.CV
发布日期: 2026-09-25
💡 一句话要点
提出交互中心建模以解决跨领域两指夹持器操作问题
🎯 匹配领域: 支柱一：机器人控制 (Robot Control) 支柱二：RL算法与架构 (RL & Architecture) 支柱七：动作重定向 (Motion Retargeting)
关键词: 模仿学习 跨领域泛化 机器人操作 两指夹持器 交互中心建模 流匹配变换器 视觉几何 人工势场
📋 核心要点
- 现有模仿学习方法在跨体现泛化中存在表示缺陷，导致任务语义与硬件几何信息纠缠。
- 论文提出了一种交互中心框架，通过标准化夹持器表示和混合特征来解决这一问题。
- 实验结果显示，该方法在多个基准测试中表现优异，实现了跨平台的零-shot转移。
📝 摘要（中文）
实现模仿学习中的跨体现泛化需要克服一个关键的表示缺陷，该缺陷将任务语义与硬件特定的视觉几何紧密纠缠。我们提出了一种交互中心框架，通过参数化的通用夹持器抽象，利用两指夹持器的共享结构，生成标准化的夹持器框架表示。在语言和RGB-D观测的基础上，VLM推断子任务并确定交互三元组（夹持器、持有物、目标），而SAM~2.1跟踪掩码以减少VLM查询。我们设计了简洁的混合特征，结合目标/碰撞人工势场进行全局引导，并使用分段的夹持器框架点云进行局部几何处理，采用流匹配变换器预测平滑的7自由度动作块。模拟和真实任务中的实验表明，我们的方法是首个在竞争基准得分和极端跨体现/跨视角零-shot模拟到真实转移方面同时取得显著成果的模仿学习方法。
🔬 方法详解
问题定义：本论文旨在解决模仿学习中跨体现泛化的表示缺陷，现有方法无法有效分离任务语义与硬件特定的视觉几何，导致泛化能力不足。
核心思路：我们提出的交互中心框架利用两指夹持器的共享结构，通过参数化的通用夹持器抽象，生成标准化的夹持器框架表示，从而有效地分离任务语义与视觉几何。
技术框架：整体架构包括三个主要模块：首先，使用VLM从语言和RGB-D观测中推断子任务并确定交互三元组；其次，SAM~2.1跟踪掩码以减少VLM查询；最后，结合目标/碰撞人工势场与分段的夹持器框架点云，使用流匹配变换器预测动作。
关键创新：本研究的核心创新在于首次实现了在模仿学习中同时达到竞争基准得分和极端跨体现/跨视角零-shot转移，显著提升了泛化能力。
关键设计：我们设计了混合特征，结合了全局引导的目标/碰撞人工势场与局部几何的夹持器框架点云，采用流匹配变换器来平滑预测7自由度动作块。具体的损失函数和网络结构细节在实验部分进行了详细描述。
🖼️ 关键图片
📊 实验亮点
实验结果表明，该方法在多个基准测试中取得了显著提升，尤其是在跨体现和跨视角的零-shot转移任务中，表现出色，成功实现了与现有方法相比的性能提升，具体数据在实验部分进行了详细比较。
🎯 应用场景
该研究的潜在应用领域包括机器人操作、自动化装配和人机交互等。通过实现跨平台的模仿学习，能够提升机器人在多样化环境中的适应能力，推动智能机器人技术的实际应用和发展。
📄 摘要（原文）
Achieving robust cross-embodiment generalization in imitation learning demands overcoming a critical representation flaw that inextricably entangles task semantics with hardware-specific visual geometry. We propose an interaction-centric framework that leverages the shared structure of two-finger grippers via a parameterized universal gripper abstraction, yielding a canonical gripper-frame representation. Given language and RGB-D observations, a VLM infers the subtask and grounds an interaction triplet (gripper, held, target), while SAM~2.1 tracks masks to reduce VLM queries. We design concise hybrid features that combine target/collision artificial potential fields for global guidance with segmented gripper-frame point clouds for local geometry, and use a Flow-Matching Transformer to predict smooth 7-DoF action chunks. Experiments in simulation and real-world tasks demonstrate that ours is the first imitation learning approach to simultaneously achieve competitive benchmark scores and extreme cross-embodiment/cross-viewpoint zero-shot sim-to-real transfer to completely distinct, heterogeneous robot platforms.