The Era of End-to-End Autonomy: Transitioning from Rule-Based Driving to Large Driving Models

📄 arXiv: 2603.16050v1 📥 PDF

作者: Eduardo Nebot, Julie Stephany Berrio Perez

分类: cs.RO, cs.CV, eess.IV

发布日期: 2026-03-17

💡 一句话要点

从规则到学习：自动驾驶迈向端到端大模型的时代

🎯 匹配领域: 支柱一：机器人控制 (Robot Control) 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 端到端学习 自动驾驶 大型驾驶模型 具身智能 深度学习

📋 核心要点

  1. 传统自动驾驶依赖模块化规则，难以应对复杂场景的长尾问题，泛化能力受限。
  2. 论文关注端到端学习，特别是大型驾驶模型，直接从传感器数据映射到驾驶行为，简化流程。
  3. 分析了特斯拉FSD等实际部署案例，表明端到端学习在真实世界驾驶中展现出潜力。

📝 摘要（中文）

本文探讨了自动驾驶领域从模块化、基于规则的流程向端到端(E2E)学习系统的转变。通过追溯从经典感知-规划-控制架构到能够直接将原始传感器输入映射到驾驶行为的大型驾驶模型(LDM)的演变，分析了包括特斯拉的完全自动驾驶(FSD) V12 V14、Rivian的统一智能平台、NVIDIA Cosmos以及新兴的商业Robotaxi部署等最新进展，重点关注架构设计、部署策略、安全考虑和行业影响。一种关键的新兴产品类别是监督式E2E驾驶，通常被称为FSD（监督式）或L2++，多家制造商计划从2026年开始部署。这些系统可以在复杂环境中执行大部分动态驾驶任务(DDT)，同时需要人工监督，从而将驾驶员的角色转变为安全监督。早期的运营证据表明，E2E学习能够处理真实驾驶场景的长尾分布，并正在成为一种主要的商业策略。我们还讨论了类似的架构进步如何扩展到自动驾驶汽车(AV)以外的其他具身人工智能系统，包括人形机器人。

🔬 方法详解

问题定义：当前自动驾驶系统主要采用模块化的规则方法，例如感知、规划和控制分别进行。这种方法在处理复杂和未知的驾驶场景时面临挑战，难以覆盖真实世界驾驶场景的长尾分布。各个模块之间的误差累积也会影响整体性能。因此，需要一种更鲁棒、更具泛化能力的自动驾驶方法。

核心思路：论文的核心思路是采用端到端学习，特别是大型驾驶模型（LDM），直接将原始传感器数据（如摄像头图像、激光雷达点云）映射到车辆的控制指令（如转向、加速、制动）。这种方法避免了手动设计规则和模块之间的复杂交互，允许模型直接从数据中学习驾驶策略。

技术框架：端到端自动驾驶系统的整体架构通常包括以下几个主要模块：1) 传感器数据输入：接收来自摄像头、激光雷达、雷达等传感器的原始数据。2) 大型驾驶模型（LDM）：一个深度神经网络，负责将传感器数据转换为车辆控制指令。3) 控制输出：将控制指令发送给车辆的执行器，实现车辆的行驶。一些系统还包括一个监督模块，用于监控模型的行为并进行干预。

关键创新：最重要的技术创新点在于使用大型神经网络直接学习驾驶策略，而不是依赖于手动设计的规则和模块。这种方法可以更好地处理复杂和未知的驾驶场景，并具有更强的泛化能力。与传统方法相比，端到端学习减少了人工干预，降低了开发成本。

关键设计：关键的设计细节包括：1) 网络结构：通常采用Transformer或卷积神经网络等深度学习模型。2) 损失函数：用于训练模型的损失函数通常包括行为克隆损失（模仿人类驾驶行为）和强化学习损失（优化长期驾驶目标）。3) 数据增强：使用各种数据增强技术来提高模型的鲁棒性和泛化能力。4) 监督策略：设计有效的监督策略，以便在模型出现错误时进行干预。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

论文分析了特斯拉FSD V12/V14等实际部署案例，这些系统在复杂环境中展现出处理长尾场景的能力，并能执行大部分动态驾驶任务，同时仅需人工监督。这表明端到端学习在真实世界驾驶中具有巨大潜力，并正在成为一种主要的商业策略。

🎯 应用场景

该研究成果可应用于各种自动驾驶场景，包括乘用车、商用车辆和机器人出租车。端到端学习方法有望降低自动驾驶系统的开发成本，提高其在复杂环境中的性能和安全性。此外，该方法还可以扩展到其他具身智能系统，如人形机器人，使其能够更好地理解和适应周围环境。

📄 摘要（原文）

Autonomous driving is undergoing a shift from modular rule based pipelines toward end to end (E2E) learning systems. This paper examines this transition by tracing the evolution from classical sense perceive plan control architectures to large driving models (LDMs) capable of mapping raw sensor input directly to driving actions. We analyze recent developments including Tesla's Full Self Driving (FSD) V12 V14, Rivian's Unified Intelligence platform, NVIDIA Cosmos, and emerging commercial robotaxi deployments, focusing on architectural design, deployment strategies, safety considerations and industry implications. A key emerging product category is supervised E2E driving, often referred to as FSD (Supervised) or L2 plus plus, which several manufacturers plan to deploy from 2026 onwards. These systems can perform most of the Dynamic Driving Task (DDT) in complex environments while requiring human supervision, shifting the driver's role to safety oversight. Early operational evidence suggests E2E learning handles the long tail distribution of real world driving scenarios and is becoming a dominant commercial strategy. We also discuss how similar architectural advances may extend beyond autonomous vehicles (AV) to other embodied AI systems, including humanoid robotics.