03 “合成坏司机”

从真实世界的驾驶中获得的“好司机”驾驶行为中，通常只包含在良好情况下驾驶的例子，因为出于明显的原因，我们不希望我们的“好司机”驾驶陷入近碰撞或爬坡限制，只是为了向神经网络展示如何在这些情况下恢复。

为了训练网络走出困境，模拟或综合合适的训练数据是有意义的。一种简单的方法是加入一些例子，在这些例子中，我们干扰了“好司机”实际的驾驶轨迹。这种扰动使得轨迹的起点和终点保持不变，偏离主要发生在中间。这教会神经网络如何从干扰中恢复。

不仅如此，这些扰动还会产生与其他物体或道路限制物发生合成碰撞的例子，我们通过增加阻止此类碰撞的显式损失来教会网络避免这些碰撞。这些损失使我们能够利用领域知识来指导学习在新的情况下更好地泛化。

通过将当前Agent位置（红点）从lane center拉出，然后拟合一个新的平滑轨迹，使agent沿lane center回到原来的目标位置，从而对轨迹进行扰动。这项工作演示了一种使用合成数据的方法。除了我们的方法之外，还可以对高度交互或罕见情况进行广泛的模拟，同时使用强化学习（RL）调整驱动策略。

然而，做RL需要我们精确地模拟环境中其他道路参与者的真实行为，包括其他车辆、行人和骑自行车的人。由于这个原因，我们在当前的工作中专注于一种纯粹的监督学习方法，记住我们的模型可以用来创建自然行为的“智能代理”来引导RL。

04 实验结果

我们看到纯模仿学习模型是如何在停着的车辆周围无法移动，并在偏离轨道时卡住的。通过一系列的综合例子和辅助例子，ChauffeurNet的模型现在可以成功地绕过停着的车辆（1），并从轨迹偏离中恢复过来，沿着弯曲的道路（2）平稳地继续前进。

1

2

在下面的示例中，我们将在模拟器的闭环设置中演示ChauffeurNet对日志示例中正确的因果因素的响应。在3的动画中，我们看到ChauffeurNet 代理在停车标志（红色标记）前完全停止。在4的动画中，我们从渲染的道路上移除stop－sign，并看到Agent不再完全停止，从而验证网络正在响应正确的因果因素。

3

4

动图5中，我们看到ChauffeurNet代理停在其他车辆（黄色框）后面，然后在其他车辆前进时继续前进。动图6，我们从呈现的输入中移除其他车辆，看到代理自然地沿着路径继续，因为它的路径中没有其他对象，验证网络对场景中其他车辆的响应。

动图7中，ChauffeurNet代理停止等待交通灯从黄色变为红色（注意交通灯渲染的强度变化，以车道中心的曲线显示），而不是盲目地跟在其他车辆后面。

在模拟测试之后，我们将主计划模块替换为ChauffeurNet，并使用它在我们的私人测试轨道上驾驶一辆克莱斯勒Pacifica小型货车。这些视频展示了车辆成功地沿着弯曲的车道行驶，处理停车标志和转弯。

动图8演示了一个日志示例上PerceptionRNN的预测。回想一下，PerceptionRNN可以预测其他动态对象的未来运动。红色的轨迹表示场景中动态物体过去的轨迹；绿色的轨迹表示每个物体在未来两秒钟内的预测轨迹。

备注：5、6、7、8的动图都超过2M，压缩了好久，剪辑都没办法达到微信要求的规格，所以请移步文后找到传送门。后面的动图是，越来越复杂，显示出Waymo在这方面的思考和变量增加对技术要求的提升，从而训练出更好的自动驾驶老司机。

05 总结

长尾理论、因果关系与终身学习

全自动驾驶系统需要能够处理现实世界中出现的长尾情况。虽然深度学习在许多应用中取得了相当大的成功，但是如何处理缺乏培训数据的情况仍然是一个悬而未决的问题。

此外，深度学习识别训练数据中的相关性，但它不能通过纯粹的观察相关性建立因果模型，也不能在模拟中主动测试反应事实。了解“好司机”为什么会有这样的行为，以及他们对什么做出了反应，这对于建立一个因果驾驶模型至关重要。

因此，仅仅有大量的“好司机”驾驶行为来模仿是不够的，理解为什么可以更容易地了解如何改进这样的系统，这对于安全关键的应用程序尤其重要。此外，如果这些改进能够以增量的和有针对性的方式执行，那么系统就可以继续学习和不断改进，这种持续终生学习是机器学习社区中一个活跃的研究领域。

今天在Waymo车辆上运行的规划器结合了机器学习和明确的推理，不断评估大量的可能性，并在各种不同场景下做出最佳驾驶决策，这些场景已经磨练了超过1000万英里的公路测试仿真数十亿英里。

因此，用于替换Waymo规划器的完全机器学习系统的标准非常高，尽管来自这样的系统的组件可以在Waymo规划器中使用，或者可以用于在模拟测试期间创建更真实的“智能代理”规划师。

Waymo这次公布的是软件方面的细节，我们希望Waymo在将来公布更多的细节，除了技术上的软件细节，还包括硬件方案、成本以及Waymo One的运营细节。车智君将持续关注Waymo，这个自动驾驶领域最好的学习对象。