文章详情

在自动驾驶汽车成为常态之前，人类和机器人将不得不共享道路。在这种共享的场景中，车辆之间的通信对于向其他车辆发出紧急或危险的演习警报至关重要。因此，对人类意图的社会理解对自我驱动的进步至关重要。这给自动驾驶系统带来了额外的复杂性，因为这种交互通常很难学习模仿。司机们相互交流意图，以便做出临时决策的动作，以便在更早的时候发出警告，而不是通过运动来推断。虽然驾驶员的动作传达了意图，例如，当驾驶员减速以表示其他车辆可以并道，或接近车道边界以表示所需的合并位置时，驾驶员的动作提示是微妙的、全动作相关的、并且是短期瞬时的。相比之下，视觉信号，尤其是信号灯，是清晰的，可以提前很长时间发出警告，这种警告表示可能出现的意外动作。

例如，如果没有检测到转弯信号，一辆停着的汽车在驶入迎面而来的车流时，同样有可能保持停着不动。类似地，当司机计划在另一辆车前面停车时，他们通常会提前发出安全信号。公共汽车在停车接送乘客时也会发出闪光信号，允许从后面驶来的车辆改变车道，从而减少了延误和拥堵。当司机了解其他交通参与者的意图，这些日常行为是安全的；但如果忽视视觉信号是危险的。因此，人类希望自动驾驶汽车做出反应，通过视觉信号预测驾驶员意图的问题，并特别关注于解释信号灯。

图2 来自1，257，591个标记帧的数据集的挑战性场景。

研究人员在一个全新的、具有挑战性的真实数据集上展示了他们的方法的有效性，该数据集包含来自他们实验室的自动驾驶平台的34小时视频。该数据集包括在真实的（黑夜白天）城市驾驶场景中发现的不利条件，包括拥堵、远距离和不常见的车辆、恶劣天气等各种场景（参见图2）。

图3 在这项工作中，研究人员建议使用一个卷积循环架构来分类车辆的转弯信号状态。对于每个输入帧，使用全卷积网络预测掩码（a），然后使用原始输入图像获取element－wise，并使用基于vgg16的CNN提取空间特征（b），然后合并使用卷积LSTM时序特性（c），从最终隐藏状态出发，预测了车辆转弯信号状态和视场面的概率分布（d）。

该模型的建立是为了解决三个问题：attention意图，识别行为人的信号灯； understanding语义理解，识别遮挡和观察行动者的方向； temporal reasoning时间推理，以区别闪烁灯和持久灯。针对这些问题研究人员设计了一个深度学习体系结构。请参考图3以获得详细说明。输入帧首先由应用空间掩码的attention模块进行处理，然后使用深度卷积网络恢复空间概念。然后，将每帧的信息输入卷积LSTM，将转弯信号和紧急闪光的时间模式与其他内容区分开来。生成的时空特征被传递到完全连接的层中进行分类。

研究人员使用多任务丢失来训练模型。具体来说，在任务上定义了加权交叉熵损失。给定模型输入x，地面真值标签y，模型权值θ，任务权值γ，网络函数σ，损失函数为：

其中每个任务损失使用交叉熵定义为：

由于没有用于转弯信号分类的公共数据集，研究人员在自主驾驶平台上记录了超过10000条10赫兹下的车辆轨迹，并将其标记为转弯信号状态，总共标记了1，257，591帧。每一帧都被标记为左转弯和右转弯灯的ON打开，OFF关闭或UNKNOWN未知。注意，标签标识了每盏灯的概念状态，ON表示即使灯泡没有被点亮，信号也是活动的。这些较低层次的标签被用来推断高层次的动作意图：左转、右转、闪光、关闭和未知。图4a显示了标签的数量，它证明了数据集中对OFF类有相当大的偏向。还显示了距离上的分布（图4c）和视点（图4d）。