Towards Accurate End-Effector Localization for UMI-Style Robotic Manipulation Teaching
作者: Junjie Zhang, Deteng Zhang, Zhisong Xu, Bo Sun, Liuyang Li, Yihong Tian, Jie Yin
分类: cs.RO
发布日期: 2026-10-07
备注: 9 pages, 8 figures, 5 tables. Project page: https://mild-web.github.io
💡 一句话要点
提出MILD和AprilVINS以解决机器人操作教学中的末端执行器定位问题
🎯 匹配领域: 支柱一：机器人控制 (Robot Control) 支柱二：RL算法与架构 (RL & Architecture) 支柱三：空间感知与语义 (Perception & Semantics)
关键词: 机器人操作 末端执行器定位 视觉惯性估计 AprilTag 数据集构建 操作教学 SLAM 仿真研究
📋 核心要点
- 现有方法在机器人操作教学中面临末端执行器定位不准确和时间覆盖不足的挑战，尤其在相机遮挡情况下。
- 本文提出了MILD数据集和AprilVINS算法，旨在提高末端执行器的定位精度和鲁棒性，尤其是在复杂环境中。
- 实验结果显示，AprilVINS在统一协议下实现了毫米级的定位精度，显著优于传统的视觉惯性方法，提升幅度达到厘米级。
📝 摘要（中文）
机器人示教学习需要在近距离操作和相机遮挡情况下实现准确且时间完整的末端执行器定位。现有的SLAM基准强调导航动作，而操作数据集则更侧重于策略学习而非定位评估。本文引入了MILD，一个包含真实世界和仿真序列的操作接口定位数据集。真实子集提供了来自Insta360 X5和Insight9的86个传感器序列，涵盖15个重复的桌面任务，校准资产和每次执行的机器人末端执行器参考轨迹。仿真子集MILD-Sim扩展了在Isaac Sim中的任务覆盖范围。对仪器化真实世界记录的视觉惯性和标记辅助系统进行基准测试，揭示了在相同名义任务下TCP相对轨迹误差和时间覆盖的显著差异。为支持没有预先调查的标记地图的标记增强教学工作空间，本文提出了AprilVINS，结合了鱼眼视觉惯性估计与序列局部AprilTag几何，分离了先前接纳与联合优化状态的受限导出。实验结果表明，AprilVINS在统一协议下达到毫米级的TCP相对APE RMSE，且时间完成率高于其他测试路径。
🔬 方法详解
问题定义：本文旨在解决机器人操作教学中末端执行器定位不准确的问题。现有的SLAM方法多集中于导航，而在操作任务中定位评估不足，导致在相机遮挡等复杂场景下的性能下降。
核心思路：论文提出了MILD数据集和AprilVINS算法，MILD提供了真实和仿真的操作数据，而AprilVINS结合了鱼眼视觉惯性估计与AprilTag几何，旨在提高定位精度和鲁棒性。
技术框架：整体架构包括数据集的构建和算法的实现。MILD数据集分为真实世界和仿真子集，AprilVINS则通过视觉惯性估计与标记信息结合，优化末端执行器的定位。
关键创新：最重要的创新在于AprilVINS算法的设计，它通过结合鱼眼视觉和AprilTag几何，显著提升了定位精度，尤其是在复杂环境中。与传统方法相比，AprilVINS在相同条件下表现出更高的准确性和鲁棒性。
关键设计：在算法设计中，使用了特定的损失函数来优化定位精度，并通过实验验证了不同参数设置对性能的影响。网络结构方面，AprilVINS采用了分层设计，以便更好地处理不同尺度的信息。
🖼️ 关键图片
📊 实验亮点
实验结果表明，AprilVINS在统一协议下的TCP相对APE RMSE达到了毫米级，且时间完成率高于其他测试路径，显示出显著的性能提升。与传统的鱼眼视觉惯性方法相比，AprilVINS的误差降低至厘米级，体现了其在实际应用中的优势。
🎯 应用场景
该研究的潜在应用领域包括机器人操作教学、工业自动化和人机协作等场景。通过提高末端执行器的定位精度，能够显著提升机器人在复杂环境中的操作能力，推动智能制造和服务机器人技术的发展。
📄 摘要（原文）
Robot demonstration learning requires accurate and temporally complete end-effector localization during close-range manipulation and camera occlusion. Existing SLAM benchmarks emphasize navigation motions, whereas manipulation datasets prioritize policy learning over localization evaluation. We introduce MILD, a Manipulation-Interface Localization Dataset with real-world and simulation sequences. The real-world subset provides 86 sensor sequences from Insta360 X5 and Insight9 across 15 repeated tabletop tasks, calibration assets, and a per-execution robot end-effector reference trajectory. The simulation subset, MILD-Sim, extends task coverage in Isaac Sim for controlled manipulation-replay studies. Benchmarking visual-inertial and fiducial-aided systems on instrumented real-world recordings reveals large differences in both TCP-relative trajectory error and temporal coverage, even under the same nominal task. To support marker-augmented teaching workspaces without a pre-surveyed fiducial map, we present AprilVINS, which combines fisheye visual-inertial estimation with sequence-local AprilTag geometry and separates prior admission from guarded export of the jointly optimized state. On Insta360 AprilTag4 recordings, AprilVINS(full) under a unified protocol with sequence-specific profiles reaches millimeter-level SE(3)-aligned TCP-relative APE RMSE with high time completion and lower reported error than the tested routes under their respective protocols, whereas fisheye VIO without tag factors remains at centimeter scale. Ablations separate accuracy from exportability, and a MILD-Sim replay study provides task-specific tolerance references for interpreting those error magnitudes. Together, MILD and AprilVINS provide a diagnostic benchmarking framework for UMI-style demonstration collection. Code, datasets, and evaluation manifests will be released upon acceptance.