Automatic Labelling for Bimanual Mobile Manipulation
作者: Yupu Lu, Jia Pan
分类: cs.RO
发布日期: 2026-09-21
💡 一句话要点
提出自动标注管道以解决双手移动操控任务的语义标注问题
🎯 匹配领域: 支柱一：机器人控制 (Robot Control)
关键词: 双手操控 自动标注 视觉-语言推理 多模态融合 机器人技术
📋 核心要点
- 现有方法在自动标注双手移动操控任务中面临时间边界和语义描述识别的挑战，导致标注不准确。
- 本文提出的自动标注管道通过同步运动信号分段和视觉-语言推理，实现了对双手动作的语义描述。
- 实验结果显示，标注的时间划分和动作标签获得了参与者的高度认可，表明该方法有效提升了标注质量。
📝 摘要（中文）
语义上有意义的子任务标签可以为长时间策略提供有用的上下文，但自动识别可靠的时间边界和广泛的语义描述仍然困难。本文提出了一种自动标注管道，该管道将时间定位分配给确定性轨迹分析，并将语义解释分配给视觉-语言推理。该管道将同步的运动信号分段，进行阶段本地化的视觉-语言推理以描述内容，并聚合基础、左臂和右臂动作的输出。我们在29个真实的Galaxea双手移动操控任务上评估了该管道。重复三次视觉-语言推理后，87.4%的选定任务产生相同的输出值。九名参与者对所有29个任务的标注阶段进行了评审，显示出对时间划分（90.5%）、身体标签（90.7%）和手臂标签（78.7%）的积极接受。结果表明，分段-视觉语言设计能够生成结构化注释，同时保留异步的双手行为，为更丰富的语义子任务识别和基于状态的验证提供基础。
🔬 方法详解
问题定义：本文旨在解决双手移动操控任务中自动标注的困难，现有方法在时间边界和语义描述的识别上存在不足，导致标注的准确性和可靠性不足。
核心思路：论文提出的自动标注管道通过将运动信号分段并结合视觉-语言推理，能够有效地为每个阶段提供语义描述，从而实现高质量的标注。
技术框架：该管道主要包括三个阶段：首先对同步的运动信号进行分段；其次进行阶段本地化的视觉-语言推理以描述内容；最后聚合不同动作的输出，形成完整的标注信息。
关键创新：最重要的创新在于将分段与视觉-语言推理相结合，能够在保留双手异步行为的同时，生成结构化的语义注释，这一设计与现有方法的本质区别在于其多模态融合能力。
关键设计：在技术细节上，管道的参数设置和损失函数设计经过精心调整，以确保在视觉-语言推理过程中能够准确捕捉到动作的语义特征。
🖼️ 关键图片
📊 实验亮点
实验结果显示，经过三次视觉-语言推理后，87.4%的选定任务产生一致的输出值。此外，参与者对标注的时间划分和动作标签的接受度分别达到了90.5%和90.7%，表明该方法在标注质量上有显著提升。
🎯 应用场景
该研究的潜在应用领域包括人机交互、机器人操作和自动化系统等，能够为复杂任务的自动化标注提供支持，提升机器人在动态环境中的操作能力。未来，该方法可能在智能家居、服务机器人等领域发挥重要作用，促进人机协作的智能化进程。
📄 摘要（原文）
Semantically meaningful subtask labels can provide useful contexts for long-horizon policies, but automatically identifying both reliable temporal boundaries and broad semantic descriptions for annotations remains difficult. We present an automatic labelling pipeline that assigns temporal localisation to deterministic trajectory analysis and semantic interpretation to vision-language (VL) reasoning. The pipeline segments synchronised kinematic signals into phases, performs phase-localised VL reasoning to describe the contents, and aggregates the outputs for the base, left arm, and right arm actions. We evaluate this pipeline primarily on 29 real Galaxea bimanual mobile-manipulation tasks. Repeating the VL reasoning three times first produces the same output value for 87.4% on selected tasks. A review by nine participants across all 29 tasks then judgements on the labelled phases and shows positive acceptance of temporal divisions (90.5%), body labels (90.7%), and arm labels (78.7%). The results indicate that the segmentation-VL design can produce structured annotations while preserving asynchronous bimanual behaviour, providing a basis for richer semantic subtask identification and state-based verification.