Can Knowledge Transfer Parameters Be Learned? LePoKet for Efficient Robotic Vision

📄 arXiv: 2609.16637v1 📥 PDF

作者: Yanick C. Tchenko, Felix Mohr, Hicham Hadj-Abdelkader, Hedi Tabia

分类: cs.CV, cs.LG

发布日期: 2026-09-15

💡 一句话要点

提出LePoKet以解决机器人视觉中的知识转移问题

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture) 支柱三：空间感知与语义 (Perception & Semantics) 支柱七：动作重定向 (Motion Retargeting) 支柱八：物理动画 (Physics-based Animation)

关键词: 知识转移 机器人视觉 可学习参数 遗传注意力 深度学习 运动估计 紧凑模型 蒸馏训练

📋 核心要点

  1. 现有知识转移方法通常依赖于固定的蒸馏目标，缺乏灵活性和适应性，限制了其在机器人视觉中的应用。
  2. LePoKet通过可学习的遗传注意力机制，优化知识转移过程中的交互参数，直接嵌入到前向计算中，提升了模型的表现。
  3. 在CIFAR-10和CIFAR-100数据集上，LePoKet分别提高了相对准确率，并在密集运动估计任务中显著降低了误差，展示了其有效性。

📝 摘要（中文）

高效感知是受限计算、内存和延迟预算下机器人系统的核心。通过从大型预训练模型中转移知识，可以增强紧凑的感知网络，但现有方法通常依赖于固定的蒸馏目标或手动设计的交互机制。基于遗传知识转移（HKT），本文提出LePoKet（可学习参数优化的知识转移），一种将知识继承直接嵌入前向计算的结构转移框架。LePoKet引入了块级提取-转换-混合接口，其交互参数通过可学习的遗传注意力（LGA）操作与子网络共同优化，无需辅助蒸馏损失或温度缩放。实验结果表明，LePoKet在CIFAR-10和CIFAR-100上分别实现了24.57%和25.1%的相对误差降低，并在密集运动估计中显著提升了RAFT基础模型的性能。

🔬 方法详解

问题定义：本文旨在解决现有知识转移方法在机器人视觉中灵活性不足的问题。现有方法依赖于固定的蒸馏目标，无法充分利用预训练模型的潜力。

核心思路：LePoKet通过引入可学习的遗传注意力机制，优化知识转移过程中的交互参数，使其能够与子网络共同学习，从而提高模型的性能。

技术框架：LePoKet的整体架构包括块级提取-转换-混合接口，交互参数与子网络的优化是通过LGA操作实现的，整个过程无需额外的蒸馏损失或温度缩放。

关键创新：LePoKet的主要创新在于其可学习的结构转移机制，区别于传统方法的固定蒸馏目标，能够更灵活地适应不同任务。

关键设计：在参数设置上，LePoKet通过优化交互参数来提升模型性能，采用的损失函数和网络结构设计旨在最大化知识转移的效率。实验中使用的ResNet父子网络对比验证了该方法的有效性。

🖼️ 关键图片

img_0
img_1
img_2

📊 实验亮点

在CIFAR-10和CIFAR-100数据集上，LePoKet分别实现了24.57%和25.1%的相对误差降低。此外，在密集运动估计任务中，LePoKet显著提升了RAFT基础模型的性能，Sintel Clean上的误差从2.21降低到1.92，Sintel Final从3.35降低到3.01，KITTI从7.51降低到6.39，展示了其卓越的效果。

🎯 应用场景

LePoKet在机器人视觉领域具有广泛的应用潜力，尤其是在资源受限的环境中，如无人驾驶、工业自动化和智能监控等场景。通过提高模型的感知能力，LePoKet能够为这些应用提供更高效的解决方案，推动智能系统的发展。

📄 摘要（原文）

Efficient perception is central to robotic systems operating under constrained computation, memory, and latency budgets. Knowledge transfer from larger pretrained models offers a practical route to stronger compact perception networks, but existing approaches commonly rely on fixed distillation objectives or manually designed interaction mechanisms. Building on Hereditary Knowledge Transfer (HKT), we propose LePoKet (Learnable Parameter Optimization for Knowledge Transfer), a structural transfer framework that embeds knowledge inheritance directly into the forward computation. LePoKet introduces a block-wise Extract-Transform-Mix interface whose interaction parameters are optimized jointly with the child network through a Learnable Genetic Attention (LGA) operator, without auxiliary distillation losses or temperature scaling. We first characterize the mechanism on CIFAR-10 and CIFAR-100 using ResNet parent-child pairs, obtaining relative error reductions of 24.57% and 25.1%, respectively, over standard child training. We then evaluate LePoKet for dense motion estimation by integrating it into a compact RAFT-based optical-flow model trained only on FlyingChairs and FlyingThings3D. LePoKet improves the compact RAFT baseline from 2.21 to 1.92 EPE on Sintel Clean, from 3.35 to 3.01 on Sintel Final, and from 7.51 to 6.39 on KITTI. A direct comparison with HKT further shows that LePoKet improves CIFAR-10 accuracy from 92.40% to 93.40% while achieving the best Sintel Final and KITTI errors among the evaluated compact transfer variants, with comparable performance on Sintel Clean. These results demonstrate that learnable structural transfer generalizes across recognition and motion perception tasks and provides a promising approach for efficient robotic vision.