Continual Hand-Eye Calibration for Open-world Robotic Manipulation
作者: Fazeng Li, Gan Sun, Chenxi Liu, Yao He, Wei Cong, Yang Cong
分类: cs.CV, cs.RO
发布日期: 2026-04-17
💡 一句话要点
提出一种持续手眼标定框架，解决开放世界机器人操作中的灾难性遗忘问题。
🎯 匹配领域: 支柱一：机器人控制 (Robot Control) 支柱二：RL算法与架构 (RL & Architecture)
关键词: 持续学习 手眼标定 机器人操作 空间回放 知识蒸馏
📋 核心要点
- 现有基于深度学习的手眼标定模型在开放世界场景变化中适应新数据时，容易发生灾难性遗忘。
- 提出一种持续手眼标定框架，通过空间回放策略和结构保持蒸馏，使机器人能够适应不断变化的操作场景。
- 实验结果表明，该框架能有效对抗场景遗忘，在保持过去场景准确性的同时，适应新场景。
📝 摘要（中文）
本文提出了一种持续手眼标定框架，旨在解决开放世界机器人操作中基于深度学习的标定模型在适应新场景时出现的灾难性遗忘问题。该框架通过空间回放策略和结构保持蒸馏，使机器人能够适应顺序遇到的开放世界操作场景。具体而言，空间感知回放策略（SARS）构建了一个几何均匀的回放缓冲区，确保全面覆盖每个场景的姿态空间，并用信息量最大的视角替换冗余的相邻帧。同时，提出了一种结构保持双重蒸馏（SPDD），将定位知识分解为粗略的场景布局和精细的姿态精度，并分别进行蒸馏，以减轻持续适应过程中的两种遗忘。当新的操作场景到来时，SARS提供来自所有先前场景的几何代表性回放样本，SPDD对这些样本应用结构化蒸馏以保留先前学习的知识。在新的场景上训练后，SARS将来自新场景的选定样本合并到回放缓冲区中，以供将来排练，从而使模型能够不断积累多场景标定能力。在多个公共数据集上的实验表明，该框架具有显著的抗场景遗忘性能，在保持过去场景的准确性的同时，保留了对新场景的适应性，证实了该框架的有效性。
🔬 方法详解
问题定义：本文旨在解决开放世界机器人操作中，基于深度学习的手眼标定模型在持续学习新场景时出现的灾难性遗忘问题。现有方法，如简单的基于回放的持续学习策略，无法很好地缓解这个问题，导致模型在新场景上表现良好，但在旧场景上性能急剧下降。
核心思路：论文的核心思路是通过空间感知回放策略（SARS）和结构保持双重蒸馏（SPDD）来缓解灾难性遗忘。SARS确保回放缓冲区包含每个场景姿态空间的全面覆盖，SPDD则将定位知识分解为场景布局和姿态精度，分别进行蒸馏，从而保留先前学习的知识。
技术框架：该框架包含两个主要模块：空间感知回放策略（SARS）和结构保持双重蒸馏（SPDD）。首先，SARS构建一个几何均匀的回放缓冲区，选择最具代表性的视角进行存储。然后，当新场景到来时，SPDD利用SARS提供的回放样本，对模型进行结构化蒸馏，保留先前学习的知识。最后，将新场景的代表性样本添加到回放缓冲区，以便未来继续学习。
关键创新：该论文的关键创新在于提出了空间感知回放策略（SARS）和结构保持双重蒸馏（SPDD）。SARS通过几何均匀采样，确保回放缓冲区包含每个场景的全面信息，避免了冗余信息的干扰。SPDD则通过分解定位知识，分别蒸馏场景布局和姿态精度，更有效地保留了先前学习的知识。
关键设计：SARS的关键设计在于其几何均匀采样策略，通过计算帧之间的差异，选择信息量最大的视角。SPDD的关键设计在于其双重蒸馏结构，分别蒸馏粗略的场景布局和精细的姿态精度，使用了不同的损失函数来优化这两个部分。具体的网络结构和参数设置在论文中有详细描述（未知）。
🖼️ 关键图片
📊 实验亮点
实验结果表明，该框架在多个公共数据集上表现出显著的抗场景遗忘性能。具体数据未知，但论文强调该框架在保持过去场景准确性的同时，保留了对新场景的适应性，验证了其有效性。与现有持续学习方法相比，该框架在手眼标定任务上取得了更好的性能。
🎯 应用场景
该研究成果可应用于各种需要机器人持续学习和适应新环境的场景，例如：智能仓储、自动化工厂、家庭服务机器人等。通过持续学习，机器人能够不断提升其在复杂环境中的操作能力，提高工作效率和适应性，降低部署和维护成本。
📄 摘要（原文）
Hand-eye calibration through visual localization is a critical capability for robotic manipulation in open-world environments. However, most deep learning-based calibration models suffer from catastrophic forgetting when adapting into unseen data amongst open-world scene changes, while simple rehearsal-based continual learning strategy cannot well mitigate this issue. To overcome this challenge, we propose a continual hand-eye calibration framework, enabling robots to adapt to sequentially encountered open-world manipulation scenes through spatially replay strategy and structure-preserving distillation. Specifically, a Spatial-Aware Replay Strategy (SARS) constructs a geometrically uniform replay buffer that ensures comprehensive coverage of each scene pose space, replacing redundant adjacent frames with maximally informative viewpoints. Meanwhile, a Structure-Preserving Dual Distillation (SPDD) is proposed to decompose localization knowledge into coarse scene layout and fine pose precision, and distills them separately to alleviate both types of forgetting during continual adaptation. As a new manipulation scene arrives, SARS provides geometrically representative replay samples from all prior scenes, and SPDD applies structured distillation on these samples to retain previously learned knowledge. After training on the new scene, SARS incorporates selected samples from the new scene into the replay buffer for future rehearsal, allowing the model to continuously accumulate multi-scene calibration capability. Experiments on multiple public datasets show significant anti scene forgetting performance, maintaining accuracy on past scenes while preserving adaptation to new scenes, confirming the effectiveness of the framework.