Beyond the End-Effector: Learning Whole-Arm Contact Manipulation from Human Demonstrations
作者: Bo-Ruei Huang, Daniel Seita, Erdem Bıyık
分类: cs.RO, cs.CV, cs.LG
发布日期: 2026-10-13
备注: Accepted to the 10th Conference on Robot Learning (CoRL 2026). 23 pages, 8 figures, 5 tables. Project page: https://wacl-robot.github.io
💡 一句话要点
提出Whole-Arm Contact Learning以解决机器人接触操控问题
🎯 匹配领域: 支柱一：机器人控制 (Robot Control)
关键词: 全臂接触 机器人操控 非抓取交互 层次化框架 任务优化 安全约束 人类示范
📋 核心要点
- 现有机器人操控方法主要集中于末端执行器，缺乏对全臂接触的有效利用，导致效率和适应性不足。
- WACL框架通过引入语义关键点、参考接触轨迹和安全路径约束，优化全臂接触任务的执行。
- 在7自由度臂的实验中，WACL在面对末端执行器约束时表现出更高的成功率，并能在新约束下无须重新训练。
📝 摘要（中文）
机器人操控传统上依赖于末端执行器的交互，而人类则常常利用全臂接触来提高效率、鲁棒性和适应性。实现机器人类似的能力面临挑战：机器人必须选择臂部接触位置，生成有效的非抓取交互，并满足任务特定的姿态或安全约束。本文提出了Whole-Arm Contact Learning (WACL)框架，通过三种与机器人无关的表示来描述每个全臂接触任务，并将其交给准静态表面接触优化器。实验表明，WACL在末端执行器约束下的成功率为78%，显著高于传统方法的33%。
🔬 方法详解
问题定义：本文旨在解决机器人在操控任务中如何有效利用全臂接触的问题。现有方法往往依赖于末端执行器，导致在某些情况下效率低下和适应性不足。
核心思路：WACL框架通过将全臂接触任务分解为三种表示，允许机器人在不依赖于具体机械结构的情况下进行优化，从而实现更灵活的操控。
技术框架：WACL包括三个主要模块：语义关键点用于场景摘要，参考接触轨迹指定臂部如何与物体接触，安全路径约束确保末端执行器的任务安全。优化器负责将这些表示映射到机器人的运动链上。
关键创新：WACL的创新在于其层次化的任务表示和优化方法，使得机器人能够在不同的接触任务中灵活应对，而不需要重新训练模型。
关键设计：在优化过程中，机器人运动链的具体配置仅在优化器中引入，允许对接触位置和关节配置进行联合搜索，确保任务的有效执行。
🖼️ 关键图片
📊 实验亮点
在实际实验中，WACL在面对末端执行器约束时的成功率达到78%，显著高于传统方法的33%。这一结果表明，WACL在全臂接触操控任务中具有更强的适应性和鲁棒性，能够有效应对多样化的任务需求。
🎯 应用场景
该研究的潜在应用领域包括工业自动化、服务机器人和人机协作等场景。通过实现全臂接触操控，机器人能够在复杂环境中更高效地完成任务，提升工作效率和安全性，具有重要的实际价值和未来影响。
📄 摘要（原文）
Robot manipulation has traditionally relied on end-effector-centric interactions. In contrast, humans routinely exploit whole-arm contacts to improve efficiency, robustness, and adaptability, especially when the hands are occupied or when precise grasping is unnecessary. Enabling similar capabilities in robots remains challenging: the robot must select where on its arm to make contact, generate effective non-prehensile interactions, and satisfy task-specific pose or safety constraints on the end-effector. We propose Whole-Arm Contact Learning (WACL), a hierarchical framework that describes each whole-arm contact task with three robot-agnostic representations and hands them to a quasi-static surface-contact optimizer: semantic keypoints that summarize the scene, a reference contact trajectory that specifies where and how the arm presses on the object, and safety-aware path constraints that a vision-language model generates from the task description to protect the end-effector's task. The robot's kinematic chain enters only in this optimizer, which grounds these representations onto the arm by jointly searching over which link makes contact, where on that link, and the joint configuration that realizes it. This decomposition lets WACL learn the contact trajectory from 10 bare-hand human demonstrations per task collected without teleoperation, while new end-effector constraints change only the optimizer's input rather than any trained component. Real-world experiments on a 7-DoF arm across four whole-arm tasks show that WACL sustains contact under end-effector constraints where a strong link-pose baseline fails (78% vs. 33% success) and generalizes to new constraints without retraining. Website: https://wacl-robot.github.io