打破次元壁！这个AI算法可以让照片里的人跳出来

2018-12-28 09:11

还记得《哈利波特》里的“预言家日报”吗？

《哈利波特》世界里有一种神奇的魔法报纸，报中照片上的人物可以动起来，看起来有点像 GIF 图。在故事里这当然是「魔法」的功劳，现实世界中还没有造出这样的报纸。不过，华盛顿大学的几个科学家不死心，他们想用 AI 算法来让照片中的人动起来。

这种技术叫做 Photo Wake－Up。

其实类似的尝试之前就有人做过，把照片里的 2D 形象映射到 3D 模型上，然后让它们动起来。不过结果嘛，像是行尸走肉。

因为 2D 形象都是从某一个固定角度去看的，用 3D 模型的标准去控制，会出现不匹配的情况。更不用说毕加索画里的人，根本没有一个合适的模型来匹配。让 2D 形象动起来还有一个难点，就是身体部位的重叠部分不好控制，走路的时候哪只手在前？哪只手在后？还要被身体挡住。这些复杂的问题不解决，根本无法做到栩栩如生。

团队给出的解决方案是 AI 算法。首先将 2D 形象与 3D 形变模型匹配，标记出身体各部位的位置。然后按照形变算法，一步步构建网格。

按照关键点位置控制网格，还原出皮肤数据，构建好贴图。

最后，把贴图放回到原图中，用算法填充背景，人物就可以随便跑了！

团队还特别提到，头部姿势的准确性对动起来的人十分重要，因为大部分人会将注意力放在人物的脸上。因此，他们的算法还可以识别形象的头部角度，还有注视方向。

为了让这个算法可以实际应用，团队还提供一个调整的选项，允许使用者改动关键点的位置。

这项技术可以被用到 AR、VR 中，配合相应设备来使用。想象一下，未来我们在博物馆中看的艺术画，可能是动起来的。