NVIDIA：自动驾驶汽车的端到端深度学习

原文：NVIDIA 技术博客

作者：Mariusz Bojarski, Ben Firner, Beat Flepp, Larry Jackel, Urs Muller, Karol Zieba, Davide Del Testa

基于论文：End to End Learning for Self-Driving Cars

核心思想

NVIDIA 使用卷积神经网络（CNN）来映射从前置摄像头到自动驾驶汽车转向命令的原始像素。这种端到端方法意味着，只要从人类那里获得最少的训练数据，系统就可以学会在当地道路和高速公路上使用或不使用车道标线进行转向。

关键突破：系统还可以在没有清晰视觉引导的区域运行，如停车场或未铺路面的道路。

为什么端到端？

• 更好的性能：内部组件自我优化来最大化系统性能，而非优化人为选择的中间标准（如车道检测）
• 更小的网络：系统学会用最少的处理步骤来解决问题

DAVE-2 系统架构

网络结构

• 9 层网络：1 个归一化层 + 5 个卷积层 + 3 个全连接层
• 约 2700 万个连接，25 万个参数
• 输入图像分割为 YUV 色彩空间
• 前三个卷积层使用跨步卷积（步长 2×2，核 5×5）
• 后两个卷积层使用 3×3 核的非跨步卷积

训练方式

• 转向命令表示为 1/r（r 为转弯半径），防止直线行驶出现奇点
• 使用 Torch 7 机器学习包进行反向传播
• 训练数据：约 72 小时驾驶数据（新泽西州、伊利诺伊州）
• 数据增强：添加人工位移和旋转，教网络从错误位置恢复

数据采集

• 车辆：2016 款林肯 MKZ / 2013 款福特福克斯
• 传感器：三个摄像头安装在挡风玻璃后，同时捕获转向角
• 条件：晴天、多云、雾、雪、雨，白天和夜间
• 道路：双车道、住宅路、隧道、未铺面道路

CNN 内部可视化

CNN 学会了自主检测有用的道路特征，仅以人的转向角作为训练信号：

• 在未铺砌道路上，特征地图激活清晰显示道路轮廓
• 在没有道路的森林图像中，特征地图主要包含噪声
• 从未明确训练过检测道路轮廓

评估结果

仿真评估

• 约 3 小时、100 英里的测试路线
• 以偏离中心线超过 1 米触发"虚拟人类干预"
• 假设每次干预需 6 秒重新控制

道路测试

• 典型通勤路线：约 98% 时间自动驾驶
• 花园州公园大道 10 英里（多车道分车道高速公路）：无干预完成

历史传承

参考文献

• LeCun et al. (1989) - 反投影算法在手写邮政编码识别中的应用
• Krizhevsky et al. (2012) - 用深卷积神经网络进行 ImageNet 分类
• Bojarski et al. (2016) - End to End Learning for Self-Driving Cars (NVIDIA 论文)