1 min to read
端到端自动驾驶综述
工业界&学术界，端到端自动驾驶的发展与应用综述
背景介绍
传统的自动驾驶系统采用清晰的模块化策略，主要由感知、融合、预测、规划、控制等模块组成；
这种方案的优点是每个模块有清晰的目标和任务，可解释性强，易于调试；
缺点是
- 各个模块优化目标不统一，单模块质量的提升未必会带来整体效果的提升，甚至在某些设计逻辑不合理的情况下，还可能带来回退；
- 站在整体视角来看，各个模块的优化属于局部优化，各个局部最优的模块组合在一起未必是全局最优
- 随着信息在各个模块之间传递，会导致很多有用的信息丢失，下游不能充分利用所有信息进行任务处理；
- 各个模块之间会存在重复的数据存储和计算；不同模块间的模型不能共享网络参数；
端到端的技术方案是将自动驾驶任务当作是一个整体，输入是传感器的原始数据，输出是自车的规划轨迹或者控制信号量，此外也可以有中间物理量的输出，比如：障碍物box、未来预测轨迹、车道线等等；
方案的核心是最终的自车规划轨迹或者控制信号量到原始的传感器的输入是可微分的，这样就可以利用反向传播进行全局优化；
方案分类：
- 模仿学习
- 强化学习
- 师生范式
- 模块化辅助学习
经典论文
CVPR’23 Best Paper—UniAD
Planning-oriented Autonomous Driving 论文提出了一套端到端的learning算法框架
这套框架提供了一套多任务的联合学习训练方案，包含：目标检测、目标跟踪、建图、轨迹预测、栅格预测、路径规划等任务；
此框架的模型训练分为两阶段
第一阶段是只训练感知模块（tracking、mapping等），获得一个相对比较稳定的参数，这套参数用于第二阶段训练的参数初始化；
第二阶段同时训练感知、预测、网格占用、规控等任务
端到端自动驾驶范式开篇（之一）
英伟达2016年发表的一篇论文
End to End Learning for Self-Driving Cars
系统的输入：左、中、右，三个前视摄像头；
网络模型：5个卷积层，3个全连接层；（卷积层在2016年还是很先进的）
输出：方向盘转角
训练采集了72小时的人驾数据，涵盖高速、城市、郊区及各种天气路况；
解耦规划与感知（师生范式应用 - 2023较为先进的思路）
建模思路：
① 先基于感知真值（特权信息）训练规划模型; 训练好的规划模型就是teacher模型
② 利用神经网络（如：BEV former等）训练感知模型（真值是感知真值），这里训练的预测感知真值的模型就是student模型
直接将student模型的输出，作为teacher的输入，效果并不理想，所以有了第三步
③ teacher模型就是一个多层神经网络，在层中间加入新的模块，称之为adapter，训练adapter模型，adapter的输入是student模型的输出，训练真值是特权信息下teacher的输入；
Comments