1 min to read
端到端自动驾驶综述
工业界&学术界，端到端自动驾驶的发展与应用综述
背景介绍
传统的自动驾驶系统采用清晰的模块化策略，主要由感知、融合、预测、规划、控制等模块组成；
这种方案的优点是每个模块有清晰的目标和任务，可解释性强，易于调试；
缺点是
- 各个模块优化目标不统一，单模块质量的提升未必会带来整体效果的提升，甚至在某些设计逻辑不合理的情况下，还可能带来回退；
- 站在整体视角来看，各个模块的优化属于局部优化，各个局部最优的模块组合在一起未必是全局最优
- 随着信息在各个模块之间传递，会导致很多有用的信息丢失，下游不能充分利用所有信息进行任务处理；
- 各个模块之间会存在重复的数据存储和计算；不同模块间的模型不能共享网络参数；
端到端的技术方案是将自动驾驶任务当作是一个整体，输入是传感器的原始数据，输出是自车的规划轨迹或者控制信号量，此外也可以有中间物理量的输出，比如：障碍物box、未来预测轨迹、车道线等等；
方案的核心是最终的自车规划轨迹或者控制信号量到原始的传感器的输入是可微分的，这样就可以利用反向传播进行全局优化；
方案分类：
- 模仿学习
- 强化学习
- 师生范式
- 模块化辅助学习
经典论文
CVPR’23 Best Paper—UniAD
Planning-oriented Autonomous Driving 论文提出了一套端到端的learning算法框架
这套框架提供了一套多任务的联合学习训练方案，包含：目标检测、目标跟踪、建图、轨迹预测、栅格预测、路径规划等任务；
此框架的模型训练分为两阶段
第一阶段是只训练感知模块（tracking、mapping等），获得一个相对比较稳定的参数，这套参数用于第二阶段训练的参数初始化；
第二阶段同时训练感知、预测、网格占用、规控等任务
端到端自动驾驶范式开篇（之一）
英伟达2016年发表的一篇论文
End to End Learning for Self-Driving Cars
系统的输入：左、中、右，三个前视摄像头；
网络模型：5个卷积层，3个全连接层；（卷积层在2016年还是很先进的）
输出：方向盘转角
训练采集了72小时的人驾数据，涵盖高速、城市、郊区及各种天气路况；
解耦规划与感知（师生范式应用 - 2023较为先进的思路）
建模思路：
① 先基于感知真值（特权信息）训练规划模型; 训练好的规划模型就是teacher模型
② 利用神经网络（如：BEV former等）训练感知模型（真值是感知真值），这里训练的预测感知真值的模型就是student模型
直接将student模型的输出，作为teacher的输入，效果并不理想，所以有了第三步
③ teacher模型就是一个多层神经网络，在层中间加入新的模块，称之为adapter，训练adapter模型，adapter的输入是student模型的输出，训练真值是特权信息下teacher的输入；
复用成熟的预测模型预测自车轨迹
通过预测模型输出自车预测轨迹，作为粗解，给到下游进行微调或者选择
最终落地
目前端到端的落地方案主要由两套方案：
一套是特斯拉的从感知输入，直接到规控信号输出
另外是类似于华为、小鹏的两个端到端模型，一个是感知的端到端模型，另外一个是预测、规控一体化的端到端模型；
包括蔚来最新的组织架构，也将预测、规控合并成一个大模型团队，从组织架构上来看，也是采用类似华为的技术方案进行端到端落地；
即使端到端在实车上有所应用，也是学习 + 规则的方案，比如：
先利用规则生成若干符合基本常识的轨迹，然后利用学习的方式进行选择，或者反过来 利用学习的方式生成若干条候选轨迹，然后利用规则校验，去除不合理的轨迹，选择置信度最高的轨迹；
Comments