经典MIT的Deep Learning for Self－driving Car课程上，邀请到了Waymo首席科学家Drago Anguelov，分享题为“Taming The Long Tail of Autonomous Driving Challenges（驯服自动驾驶的长尾挑战）”，主要是讲在现实世界中的Long Tail现象，各种异常情况该如何收集、融合、发布和测试。

知乎＠黄浴总结了此课程的一些新看点：

1． 题目是“长尾”处理；

2． 可以处理道路维修场景；

3． 可以识别特殊车辆（警车／救护车／消防车）；

4． 可以预防闯红灯的车辆；

5． 可以对马路自行车行为轨迹预测；

6． 通过NAS学习模型；

7． 不完全依赖机器学习，可以利用专家知识（domain knowledge）；

8． 不是E2E学习驾驶行为，而是Mid－2－Mid，就是最近的ChauffeurNet；

9． 学习的行为预测有自适应性，比如激进的或者温和礼貌的；

10． 仿真不能解决所有问题，仿真系统需要更多的agent model，要smart。

下面是智车科技对本次分享的视频解读及PPT：

我毕业于斯坦福大学博士学位，曾研究机器人相关领域。现在Google带领团队研究3D感知，以此来构建一个全新的自动驾驶感知系统。

Waymo这家公司截止上个月已经成立了十周年了（2009年成立）它起源于Google X。

2015年，我们研发的这款自动驾驶汽车进行公路路测试验，这是世界上第一辆成功实现自动驾驶的汽车。在这个案例中，坐在车里的人是个盲人，我们认为这个项目的意义重大。所以我们不仅仅希望这台车只是一个成功的演示案例，我们更加希望能够实现无人驾驶。

我将给你们展示一个很酷的视频。你们看，这台汽车真的在自己行驶在公路上。2018年，自动驾驶商业化，这台车学习了很多司机用户的驾驶习惯，使它自身拥有强大的自动驾驶能力。它也成功的在公路上自主行驶（无人驾驶状态）超过10，000，000，000公里。我们的路测实验几乎涵盖了所有的不同城市的驾驶场景，收集了很多驾驶数据。

我想解释一下为什么今天的演讲的题目是“项目的长尾问题”。因为我们在自动驾驶这条路上，我们还有很多问题需要处理和解决，才能使得自动驾驶更加完善。

自动驾驶系统要求有足够的能力，在没有人类司机干预的情况下，安全地处理所有的突发情况。

事实上，突发的异常情况总是发生，而且这些异常情况经常是比较复杂且少见的，而自动驾驶就是要安全的解决这些突发的复杂且少见的情况。这就是我所说的“长尾巴情况”，它不同于在常见的场景中的自动驾驶，而这种复杂且少见的驾驶场景在自动驾驶领域确实非常重要。

我们来看这场景，画面中骑自行车的人带着一块“停止”的标志牌。但是我们并不知道他会停在哪里，什么时候停下。

我们再来看这个场景，有东西掉在路上了，周围的建筑也是一个问题。

现实中存在很多不同的场景和不同的问题，像这个视频中，我们的车辆听到了其他车辆的鸣笛声音，那么如何处理这个鸣笛的声音，这些都需要很好的（安全的）解决掉。

那么我们是如何解决这些问题的呢？

首先是，感知。我们利用传感器感知周围环境，并在屏幕上显示（可以显示周围的建筑、环境等等），以此重新构建一个地图。

感知的复杂性包括，在路上，有很多不同的物体，他们有不同的形状、颜色、状态。比如，有不同样式的信号灯，路上有动物和行人，行人还会穿着不同颜色的衣服，有不同的姿势状态。为了清晰的观察到这些，我们装置了很多传感器，来解决这个问题。

感知的复杂性还包括，很多不同的环境。比如，一天当中不同的时间段（白天／黑夜），不同的季节，不同的天气下雨或者下雪。这些都需要识别。

感知的复杂性还包括，不同的场景配置，或者叫物体之间的关系识别。不同的搭配就有不同的物体之间的关系，比如图片中，一个人拿着一块巨大的板子，第二幅图中，玻璃中有反光现象，第三幅图中人骑着马等等不同的场景和关系。

这种映射功能是一个非常复杂的功能，这是由物体、环境、场景配置共同决定的。

所以这需要我们在观察周围环境的基础上做出预判，对周边人和物体的下一个动作做出预判，即我们要对短时间内发生的事情做出一个预测。