在刚刚过去的CVPR上，isee联合北京大学、加州大学洛杉矶分校、麻省理工学院共同发布了一项研究成果，称为多智能体张量融合（Multi－Agent Tensor Fusion，MATF）。该模型将多个代理的过去轨迹和场景编码为一个多代理张量，然后应用卷积融合捕获多代理之间的交互，同时保留代理的空间结构和场景。该模型使用对抗性损失来学习随机预测。通过在高速公路场景和行人拥挤场景的数据集的实验表明，该模型达到了最先进的预测精度。

开车是一种社交活动。考虑一下这个场景中令人印象深刻的多主体社会交互（让人头疼的环岛路）：

司机们在一个复杂的场景中驾驶，且同时基本保持安全。在于同一环境下的其他道路参与者近距离行驶或交互的情况下，在无法掌握其他车辆的全部行驶意图的情况下，人类驾驶员可以保证大概率的交通安全，是非常了不起的。那么人类驾驶员又是如何完整这一壮举的呢？

社会预测（Social prediction）是驾驶必不可少的一环

人类驾驶员利用他们的社交智能来预测其他交通参与者未来的动作将如何依赖于与自己以及场景的交互。通过预测附近的交通参与者的轨迹，驾驶员可以主动规划安全的交互，尽可能减少当意外发生即将发生时候做出诸如急刹车等其他应急反应。

然而，人类驾驶员永远无法完全肯定地预测另一辆车将会执行怎样的轨迹。人类驾驶员通常处于一种思考“他会让行么？”“他不会突然加速吧？”“他会开多慢呢？”的情况中。

学会预测

研究人员开发了一种神经网络架构，它可以从大规模数据中学习对其他轨迹进行概率预测。研究人员的方法只考虑在驾驶过程中收集的训练数据，尽可能实现在环境、场景、车辆和代理的类型（卡车、轿车、公共汽车、摩托车、自行车、行人等）之间的泛化。

iess联合北京大学、南加州大学、麻省理工共同开发的新方法，称为多智能体张量融合（Multi－Agent Tensor Fusion，MATF）。通过在一个多智能体张量（MAT）表示中对齐场景特征和智能体轨迹特征，结合了空间和以智能体为中心表示的优势，如下所示。MAT编码通过卷积运算自然处理场景与不同数量的代理，并预测场景中所有代理的轨迹的计算复杂度是线性的。GAN训练允许MATF学会预测的分布轨迹捕获局势将如何发展的不确定性。MATF学会了预测关节轨迹，这可以解释车辆之间诸如减速和避让等互动行为。

这是MATF体系结构的详细说明。MATF体系结构首先对场景的所有相关信息进行编码，然后用一个递归神经网络对每个代理的过去轨迹进行处理，对每个代理的所有相关信息进行编码。然后，网络将场景和代理特征在空间上对齐成一个多代理张量，在场景中保留所有的局部和非局部空间关系。然后，利用学习的全卷积映射进行多智能体张量融合，得到融合后的多智能体张量作为多智能体驱动场景的最终编码。卷积映射对于每个代理都是一样的，它捕捉所有代理之间的空间关系和交互，同时适用于场景中的所有代理。然后，MATF方法从融合的多智能体张量中学习概率解码信息，生成对场景特征和周围智能体轨迹敏感的预测轨迹。

我们使用条件生成反求网络（GAN）训练技术，在给定MATF编码的情况下，学习轨迹上的概率分布。GANs允许学习高保真度的生成模型来捕获观测数据的分布。在驾驶环境中，分布的模式对应于车辆或行人可能执行的不同机动，例如跟随车道／路径和改变车道／路径。每个模式周围的分布对应于机动执行的方式，如快、慢、主动、谨慎等。甘斯很自然地捕捉到了这两种变化。重要的是，我们的GAN算法训练模型生成关节轨迹，该轨迹考虑了车辆之间的相互作用，如屈服和避碰。

结论

研究人员首先应用他们的模型来学习预测车辆轨迹（其中，大规模驾驶数据由isee收集）。下图显示了五种场景，每种车辆过去的轨迹以不同的颜色显示，后面是100条采样的未来轨迹。地面实际发生的轨迹用黑色表示，车道中心用灰色表示。（a）显示了涉及五辆车的复杂情况；MATF精确地预测了所有车辆的轨迹和速度剖面。在（b）中，MATF正确地预测出红色车辆将完成换道。在（c）中，MATF捕捉到红色车辆是否会从高速公路出口驶出的不确定性。在（d）中，一旦紫色的车辆通过高速公路出口，MATF预测它不会从高速公路出口通过。（e）中，MATF未能准确预测红色车辆的地面真实轨迹；但是，预测车辆将在少量的采样轨迹中启动变道机动，这反映了从数据集中学习到的自发变道的低先验概率。

接下来，研究人员将他们的模型应用到学习中，从斯坦福无人机数据集中预测行人和其他多种类型的代理的轨迹。斯坦福无人机数据集是一个大型且先进的数据集，其中包含行人、骑自行车的人、滑板者、手推车、小汽车和在大学校园中行驶的公共汽车的轨迹。下图中，蓝线表示过去的轨迹，红线表示地面真实轨迹，绿线表示预测轨迹。图中所示的所有代理的轨迹都是通过一个前向遍历网络来联合预测的。该模型预测：（1）两个从顶部进入环形交叉口的代理将从左侧退出；（2）在环形交叉口上方的通路上，左侧来的一个代理向左转弯，向图像顶部移动；（3）一个减速机在上述建筑物的门口和回旋处的右侧减速。另一个虽然失败但却很有趣的案例（4）中，一个位于环形交叉口右上角的代理正在右转，以移动到图像的顶部；该模型可以预测转弯，但未能准确预测转弯角度。