MILER: Semantic Mid-Level Representation for Sim-to-Real Reinforcement Learning in Unstructured Autonomous Driving

📄 arXiv: 2609.20747v1 📥 PDF

作者: Thomas Steinecker, Denis Trescher, Alexander Bienemann, Thorsten Luettel, Mirko Maehlisch

分类: cs.RO, cs.LG

发布日期: 2026-09-17

备注: Evaluation video: https://www.youtube.com/watch?v=IZli3Z87URI

💡 一句话要点

提出MILER以解决无结构环境下的仿真到现实转移问题

🎯 匹配领域: 支柱一：机器人控制 (Robot Control) 支柱二：RL算法与架构 (RL & Architecture)

关键词: 强化学习 自动驾驶 仿真到现实 无结构环境 轨迹对齐 语义表示 无人驾驶

📋 核心要点

  1. 现有方法在无结构环境下的仿真到现实转移面临诸多挑战，导致强化学习在自动驾驶中的应用受限。
  2. 本文提出MILER框架，通过零-shot仿真到现实转移，结合语义中层表示和轨迹对齐策略，提升了自动驾驶的性能。
  3. 在多样化的测试轨道上，MILER成功实现了17.3公里的无人驾驶，展示了其在复杂环境中的有效性。

📝 摘要（中文）

强化学习因其超人类表现和自学习策略的潜力而备受关注。然而，在无结构环境下将其应用于现实世界的自动驾驶仍然稀少，主要是由于仿真到现实转移的挑战。本文提出了MILER，一个端到端的策略框架，实现零-shot的仿真到现实转移。在离线训练中，使用自定义的语义中层表示（MLR）模拟器，通过强化学习训练策略网络，并将控制输出直接应用于自行车模型。在真实车辆部署时，使用BEVFusion处理相机和激光雷达数据，生成与MLR模拟器一致的语义鸟瞰图表示。通过轨迹对齐策略，实现了感知和控制的零-shot仿真到现实转移。我们在包含各种障碍、发夹弯、最高速度33.6 km/h和越野路段的多样化测试轨道上进行了广泛评估，成功展示了该方法的有效性。

🔬 方法详解

问题定义：本文旨在解决在无结构环境下，强化学习在自动驾驶中仿真到现实转移的困难。现有方法在真实环境中表现不佳，无法有效应对复杂场景。

核心思路：MILER框架通过引入语义中层表示（MLR）和轨迹对齐策略，实现了零-shot的仿真到现实转移，确保了感知和控制的一致性。

技术框架：整体架构包括离线训练阶段和在线部署阶段。在离线训练中，使用MLR模拟器训练策略网络；在在线部署中，通过BEVFusion生成鸟瞰图表示，并应用轨迹对齐策略。

关键创新：MILER的主要创新在于其零-shot仿真到现实转移能力，结合了语义表示和轨迹对齐，显著提升了自动驾驶的适应性和鲁棒性。

关键设计：在训练过程中，采用特定的损失函数以优化策略网络，并设计了适应于自行车模型的控制输出结构，确保在复杂环境下的稳定性和准确性。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

在多样化的测试轨道上，MILER成功完成了17.3公里的无人驾驶，展示了其在复杂环境中的有效性。与传统方法相比，MILER在感知和控制的零-shot转移能力上具有显著提升，确保了车辆在各种挑战下的稳定运行。

🎯 应用场景

该研究的潜在应用领域包括自动驾驶汽车、无人驾驶配送和智能交通系统。MILER框架的成功实现将推动无结构环境下的自动驾驶技术发展，提升其在复杂场景中的应用价值和安全性。

📄 摘要（原文）

Reinforcement learning constitutes a promising approach owing to its potential for superhuman performance and self-learned policies. However, its application to real-world autonomous driving remains scarce, particularly in unstructured environments, because of the challenges associated with sim-to-real transfer for unstructured environments. In this work, we present MILER, an end-to-end policy framework with zero-shot sim-to-real transfer. During offline training, we employ a custom semantic mid-level representation (MLR) simulator and train the policy network using reinforcement learning, with its control outputs applied directly to a bicycle model. During deployment on the real vehicle, camera and LiDAR data are processed by BEVFusion to generate a semantic bird's-eye-view representation consistent with that of the MLR simulator. The actions generated by the policy network are not applied directly to the real vehicle. Instead, we employ a trajectory-alignment strategy that enables zero-shot sim-to-real transfer of both perception and control. We extensively evaluate the proposed framework on a diverse test track comprising numerous challenges, including various obstacles, hairpin curves, velocities of up to 33.6 km/h, and off-road sections. In total, we drove 17.3 km with two different vehicles on a 3.0 km test track without human intervention, thereby demonstrating the effectiveness of our approach. Furthermore, the entire software stack runs on a Jetson AGX Orin.