全面重写Autopilot，特斯拉自动驾驶的升维革命

【编者按】现在的 AP 已经碰到了性能瓶颈，必须要进行升维革命，否则难有大的突破。

本文转载自汽车之心，原作者陈念航；由亿欧汽车整理，供业内人士参考。

在刚过去的8月，马斯克在推特上公布了关于Autopilot以及FSD的两条重要消息：

AP团队正对软件的底层代码进行重写和深度神经网络重构；全新的训练计算机Dojo正在开发中。

重写 AP，是今年马斯克在推特上不断提及的一项重要行动。在回应推友提问时，马斯克会时不时披露 AP 将有的新功能，比如：

对路面上的隆起和坑洞（bumps&patholes）的识别；

对环岛路况（roundabouts）的处理等等。

特斯拉对 AP 的全面重写，包括了对数据标注、训练、推理全流程的重构。

而基于新架构的FSD将不再是渐进式的优化，而是一次「量子式跃升」（马斯克原文是quantum leap）。马斯克在7月的世界人工智能大会上表示「有信心在今年完成开发L5级自动驾驶的基本功能」，马斯克能够实现他的承诺吗？

特斯拉为什么要在这个阶段对 AP 软件进行重写？重写AP到底要重写些什么呢？作为当下市面上量产最强的自动驾驶系统，AP走向何方，FSD何时到来？

特斯拉 AP 两大新进展

身兼特斯拉 AP 团队的最高负责人，马斯克经常充当着软件测试员的角色。根据马斯克在推特上透露，他本人经常开着搭载 FSD 最新测试版本的特斯拉上下班，马斯克称在他使用系统的过程中，几乎不需要人工接管。

基于此，他乐观估计，最快在6-10周后（也就是10月-11月份），就可以向小规模地向用户推送FSD测试版本。

作为重写 AP 的一部分，马斯克还向外界介绍了其全新的用于神经网络（NN）训练的超级计算机Dojo。Dojo 在日语中意为「道场」，现在它成为了特斯拉训练数据的「道场」。

Dojo 将专门用于大规模的图像和视频数据处理，其浮点运算能力达到了exaflop级别，也就是每秒运算百亿亿次。正因此，马斯克称Dojo如野兽一般。

需要注意的是，Dojo 计算机将配合无监督学习算法（unsupervised learning），来减少特斯拉对于数据人工标注的工作量，这样来帮助其数据训练效率实现指数级提升。马斯克还在推特上发布英雄帖，为自家的 AI 和芯片团队招人。

目前，Dojo 计算机仍在开发中，从V1.0开始，大约一年后才会有成果。

有了全新的 AP 软件架构以及强大的数据训练计算机Dojo，难怪马斯克会对其FSD的落地进展如此自信。但话说回来，特斯拉为什么要在这个阶段对 AP 软件进行重写？还是以这样一种推倒重来的方式。

为什么特斯拉要重写 AP?

现在的 AP 已经碰到了性能瓶颈，必须要进行升维革命，否则难有大的突破。

马斯克用了一个术语来表述这个问题，他认为过去 AP 被困在一个局部最大值（Local Maximum）里面，要向上突破已经非常困难了。

其中一个很关键的问题在于，原有AP软件架构下，其处理的数据都是不含有时间坐标的2D图像数据。再想往上去处理 3D 甚至4D（加上时间维度）的数据，实现从图像级处理到视频级处理的跃迁，AP固有的软件和训练网络难以胜任。

关于引入 4D 数据带来的影响，一位来自国内自动驾驶公司的工程师向汽车之心分析：

因为有了时间维度，系统就能知道目标物的运动，对其行为进行预测，而且，系统处理目标物识别、分类以及场景的重构这类任务会更加轻松。

总之，加入时间维度，很大程度上是提高系统对整体场景的理解。 AP 要再往前走，必须进行革命，所以特斯拉这才决定重写AP。

另一方面，因为数据转变成4D，信息量更丰富，整个数据的容量也会变大，这也给特斯拉AP现有的用于深度神经网络训练的基础设施带来了挑战，所以就有了Dojo。所以， AP 为了实现性能和功能上更大的突破，倒逼其对AP基础代码以及训练深度神经网络的基础设施进行重构。

这样工作量庞大的复杂工程也成为FSD迟迟推出不了落地版本的重要原因。

除了在车载软件和训练服务器端变革，特斯拉在车载硬件端也做好了准备，就是其自研的 FSD 芯片。

FSD已经在去年4月份开始量产并搭载在特斯拉的车端。一位对熟悉特斯拉的业内人士表示：

在 FSD 发布后的一段时间里，特斯拉AP团队仍是基于HW 2.x的硬件（英伟达Drive PX平台）进行功能开发，直到今年年初，特斯拉才开始全面转向基于FSD芯片的软件开发。

相较于英伟达 Drive PX 平台，特斯拉FSD芯片在基础算力和深度神经网络推理效率方面都有革命性提升，而且在视觉处理性能上，FSD相较于英伟达的芯片有更大的优势。

所以趁着这一次特斯拉重写AP，整个系统需要处理的数据升维到了4D，对计算硬件的要求指数级提高，FSD的强大性能便终于有了广阔的用武之地。

引入 FSD 芯片的AP在性能上会有多大提升？马斯克此前在接受 Youtube 视频博主采访时透露过：

如果特斯拉全车的8颗摄像头以36帧/秒的速度运行（性能拉满），软件则会基于FSD芯片的算力同步进行3D标注（2D图像+深度信息），这会使标注效率提升3倍，准确性也会大幅提升。

特斯拉重写 AP，除了马斯克口中所说的要突破「Local Maximun」以及挖掘FSD芯片的极限性能这两方面的原因之外，还有一种可能性存在。硅谷一位资深自动驾驶工程师告诉汽车之心：

特斯拉现有的 AP 系统和后续要推出的FSD是两套独立开发的系统。

前者的架构是针对于L2/L3级自动驾驶，而FSD的目标从一开始就是L4/L5级自动驾驶。因此，两套系统在架构上有本质的差异，两者差着一个代际。

后续，随着技术不断进步，FSD 也走向成熟，特斯拉决心把FSD和AP的框架进行整合。但问题是，两个系统中有些模块可以融合，但是有些模块是融合不了的，毕竟一个为 L2 开发的系统很难直接演变成L4系统。所以特斯拉 AP 团队要改写AP软件的框架和代码，以实现两个系统间的完美兼容，这样的话，后续才能以统一的版本推送给购买了全自动驾驶选装包的特斯拉车主。

实际上，我们也能从 AP 这些年的功能更新中发现一些蛛丝马迹：

2017年3月，推送自动泊车和自动辅助变道功能；

2018年10月，推送自动辅助导航驾驶（NoA）功能；

2019年9月，推送智能召唤（Smart Summon）；

2020年4月，推送识别交通信号灯和停车标志并作出反应（海外先行）。

AP 还在最新的迭代过程中更新了一些令人惊喜的小功能：

比如在城市工况施工区域，没有车道线的情况下，车身两侧皆为锥形桶，AP 能做到以锥形桶为依据实时绘制车道线。AP 系统还能检测到小动物并及时进行避让，不过特斯拉是把小动物一律识别成人后才做出相应的操作。

基本上，在特斯拉官网上标明的 FSD 完全自动驾驶功能，还剩下一项最难的、也最能代表L4级自动驾驶能力的更新：在城市街道中进行自动辅助驾驶。为了实现这一难度最大的更新，特斯拉给出的最优解就是重写 AP。

基于以上分析，特斯拉重写 AP 的原因便包括突破「Local Maximun」、挖掘FSD芯片的极限性能以及将系统能力从L2进化至L4。

特斯拉重写 AP，是重写什么？

先来看看特斯拉 AP 现在最新的AI软件堆栈是怎么样的：

最底层的是数据、GPU集群以及Dojo计算集群，这一层主要进行数据采集、标注和训练，生成算法模型；

往上走就是采用深度神经网络对模型进行分布式训练；再往上走就是用损失函数对模型进行评估；

在评估层之上，是云端推理层和车端FSD芯片推理层，到这一层，意味着算法模型走完了大部分流程，然后就是部署到车端；

在车端，特斯拉通过影子模式（Shadow Mode）将这些算法模型与人类驾驶行为进行比对，检测是否存在异常。

这样的从数据采集到算法部署的闭环，目的就是让系统性能不断迭代，更加优秀。

在这个闭环当中，涉及到数据集、模型训练神经网络、云端和车端推理算法等等要素。

所以，当数据形式从二维的图像数据（2D）转换成四维的视频级数据（4D）后，相应的神经网络和推理算法都需要进行重写。

据马斯克透露，特斯拉 AP 新版本的深度神经网络会将包括感知、路径规划、目标识别等所有子神经网络综合于一体。

特斯拉AI高级总监Andrej Karpathy在此前的一次演讲中表示：

我们无法让每一个任务都享有单独的神经网络运算，因为同时处理的任务数实在太多，我们只能把一些运算分摊到共享骨干网络上。

Andrej Karpathy 将这一骨干网络称为HydraNets（Hydra意为九头蛇），意思就是有一个主干网络（Backbone），在这个网络上有多个不同的出口（Head）来做应用，然后输出各自的结果。

在特斯拉AP最新的AI软件堆栈中，有一个最值得关注的部分就是Dojo训练集群，这个集群可以处理海量的图像、视频数据。

引入这一训练计算机，一方面是为了满足特斯拉 AP 系统此后的4D视频数据处理需求。

另一方面，特斯拉在全球有超过82万辆搭载HW 2.0/3.0硬件的车辆每天在道路上行驶，可以采集海量的数据用于AP的训练，而如此海量的数据，必然需要具备强大计算性能计算机来进行处理。

Dojo 还有一个特别之处在于，它可以与无监督学习进行配合。所谓无监督学习，就是无需人工对训练数据集进行标注，系统可以自行根据样本间的统计规律对样本集进行分析，常见任务如聚类等。

例如无监督学习在不给任何额外提示的情况下，仅依据一定数量的「狗」的图片特征，将「狗」的图片从大量的各种各样的图片中将区分出来。

有了无监督学习技术加持的 Dojo 计算机，便能以极低的成本对数据进行自动标注和训练，实现算法性能的指数级提高。

不过，用上了无监督学习技术的特斯拉，依然有一支大约500人规模的数据标注团队。

因为在一些初始神经网络模型的搭建过程中，采用人工标注的方式置信度更高。而且，特斯拉并未大规模采用无监督学习技术，现在都还处在尝鲜阶段。

那么，Dojo 计算机上搭载的会是谁家的芯片呢？目前特斯拉自研的 FSD 芯片属于推理芯片，用于Dojo计算机的芯片属于训练芯片。

有业内人士向我们分析表示，Dojo所采用的芯片应该是FSD芯片的扩展版本。这也是为什么马斯克在为自家 AI 和芯片团队招人时，特意公布了其在研发的Dojo计算机的情况，大概率要招的人就是为了研发用于Dojo计算机的芯片。

特斯拉 FSD 走向何方

无论是大力投入资源重写 AP 基础代码和深度神经网络，还是广纳贤才开发性能强大的数据训练计算机Dojo，都体现了特斯拉要先人一步搞定完全自动驾驶的决心。

特斯拉拥有庞大规模的数据采集车队，也聚集了 300 多位全球顶尖的自动驾驶和深度学习方面的软硬件研发人才，从数据到算法到商业化，特斯拉在自动驾驶领域有着其他厂商无法比拟的优势。

在这些优势的加持之下，特斯拉仍然迟迟无法量产真正意义上的完全自动驾驶功能，那些买了 FSD 选装包的特斯拉用户着急，马斯克则更急。

所有人都在期待着重写完成后的 AP 系统能真正进化至FSD版本，而这一切都要等到今年年底见真章。在重写 AP 的同时，特斯拉也没有停止在硬件层面的持续研发。

据媒体报道，特斯拉正与博通合作研发新款HW 4.0自动驾驶芯片，其性能比FSD还要强大3倍，计划明年第四季度进行大规模量产，由台积电负责生产。特斯拉在 AP 层面，是一个接一个的大动作，而这一切动作都有一个统一的目标：更优秀的AP、更强大的FSD。

即使现在其表现还不尽如人意，但未来值得期待。