Dual Variational Autoencoders for Efficient Sim-to-Real Transfer in Low-Cost Robotic Navigation
作者: Álvaro Díez, Fidel Aznar
分类: cs.RO, cs.CV, cs.LG
发布日期: 2026-10-05
备注: 30 pages, 13 figures. Published in Image and Vision Computing under a CC BY 4.0 license
期刊: Image and Vision Computing, Vol. 174, 2026, 106121
DOI: 10.1016/j.imavis.2026.106121
💡 一句话要点
提出双变分自编码器以解决低成本机器人导航的仿真到现实转移问题
🎯 匹配领域: 支柱一：机器人控制 (Robot Control)
关键词: 低成本机器人 仿真到现实 迁移学习 变分自编码器 数据增强 自主导航 计算机视觉
📋 核心要点
- 现有方法在低成本机器人导航中面临仿真与现实之间的显著差距，导致直接策略转移效果不佳。
- 本文提出了一种混合迁移学习框架，结合领域随机化与特征级领域适应，利用双变分自编码器架构进行训练。
- 实验结果显示，该方法在真实室内导航任务中达到了近91%的成功率，显著优于传统训练方式。
📝 摘要（中文）
基于视觉的低成本机器人自主导航仍然是一个基本挑战，主要由于仿真训练环境与现实操作条件之间的显著差距。直接从仿真中转移策略往往效果不佳，而仅在真实数据上训练又不切实际。本文提出了一种混合迁移学习框架，通过结合领域随机化与特征级领域适应，有效弥合了仿真与现实之间的差距。我们的方法采用双卷积变分自编码器架构，使用共享解码器，在大量的45225张仿真图像和仅4556张真实样本上进行训练。该架构学习了一个紧凑的共同潜在表示空间，使两个领域的分布对齐。实验评估表明，我们的方法在真实室内导航的图像分类任务中平均成功率接近91%，显著优于仅仿真或仅真实训练的结果。我们通过直接的现实部署验证了这些发现，所提政策成功引导低成本机器人进行反应式探索任务。
🔬 方法详解
问题定义：本文旨在解决低成本机器人在仿真环境与现实世界之间的转移学习问题。现有方法往往无法有效地将仿真训练的策略应用于真实环境，导致性能下降。
核心思路：提出的混合迁移学习框架通过结合领域随机化和特征级领域适应，利用双变分自编码器架构来学习共同的潜在表示，从而有效缩小仿真与现实之间的差距。
技术框架：整体架构包括双卷积变分自编码器，采用共享解码器，训练过程中使用大量的仿真图像和少量的真实样本。此外，采用两种数据增强技术来扩展有限的真实数据集。
关键创新：最重要的创新在于双变分自编码器的设计，通过共享解码器实现了仿真与现实数据的分布对齐，这在现有方法中尚属首次。
关键设计：在训练过程中，使用了45225张仿真图像与4556张真实样本，设计了特定的损失函数以优化潜在空间的对齐，同时采用数据增强技术来提高模型的泛化能力。
🖼️ 关键图片
📊 实验亮点
实验结果显示，所提方法在真实室内导航的图像分类任务中达到了近91%的成功率，显著优于仅使用仿真或真实数据训练的基线方法，展示了其在低成本机器人导航中的有效性。
🎯 应用场景
该研究的潜在应用领域包括低成本机器人导航、智能家居自动化和无人机自主飞行等。通过有效的仿真到现实转移，能够在资源受限的环境中实现高效的自主导航策略，具有重要的实际价值和广泛的应用前景。
📄 摘要（原文）
Vision-based autonomous navigation for low-cost robots remains a fundamental challenge, primarily due to the significant gap between simulated training environments and real-world operational conditions. Direct policy transfer from simulation is often ineffective, while training exclusively on real data is impractical. We propose a hybrid transfer learning framework that effectively bridges the sim-to-real gap by combining domain randomization with feature-level domain adaptation. Our method employs a dual convolutional variational autoencoder architecture with a shared decoder, trained on an extensive set of 45225 simulated images and a minimal set of only 4556 real-world samples. This architecture learns a compact, common latent representation space that aligns the distributions of both domains. The adaptation process is further enhanced by two complementary data augmentation techniques designed to expand the limited real-world data. Experimental evaluation demonstrates that our method achieves an average success rate of almost 91% on image classification tasks for real-world indoor navigation, significantly outperforming both simulation-only and real-world-only training. We validate these findings through a direct, real-world deployment, where the proposed policy successfully guides a low-cost robot in a reactive exploration task. Furthermore, we validate the model's efficiency through a rigorous computational estimation, confirming its suitability for resource-constrained embedded platforms such as the Raspberry Pi 4 and NVIDIA Jetson Nano. This work presents a practical solution for developing effective and efficient navigation policies for low-cost robotic systems.