照片秒变icon？日本研究员提出基于生成对抗网络的Iconify模型来帮忙！

2020-05-21 10:51

AI图标化的新技能

为了验证这两种模型是否可以对图像进行有效的图标化，研究人员分别对人体图像、通用目标和基于logo训练的图标化模型进行了实验。

针对人体的图标化，研究人员仅仅利用了包含人体的图像和对应的图标进行训练。通过分类限制训练样本的多样性可以看到GANs图标化的能力。在训练过程中仅仅使用了包含部分人体的图像，同时去除了多人的图标，最终利用从72张icon增强的1440张图标和1684张真实人体图像进行了训练。下图显示训练的数据样本

下面分别比较了CycleGAN和UNIT模型对于人体图标化的结果，可以看到两种模型都可以较好地图标化人体图像，实现了对于人体的有效抽象。其中CycleGAN生成额结果更好，对于头部和身体的形状更为简化。但针对面部特征的图标化不太好主要是由于训练图标数据中缺乏有效的面部细节特征。

由于CycleGAN具有循环损失，所以研究人员还对图标化后的结果进行了图像化，下图显示了图像到图标再到图像的生成结果，以及图标到图像再到图标的结果，显示了模型对于图像和图标抽象能力的理解。

随后研究人员将图标化的过程拓展到了COCO中包含的通用物体上。由于物体的形状各异、颜色纹理各不相同，模型需要处理的映射更为复杂。为此研究人员利用了由粗到精的策略来训练CycleGAN，依次在32x32，64x64，128x128，最终在256x256上进行训练。

下图显示了最终训练后生成的结果，其中橘色框中显示了未参与训练的测试图像及其结果，很好地抽象并描述了图像中的目标。

尽管图像为图标提供了较多的设计信息，但其结果与第一个任务中的图标相比还不够抽象，与标准图标还有所差异。例如上图中的钟表图像就抽象的不太好。由于没有设计的通用准则和标准，针对常规物体的图标化显示出了较大的差异性。

为了进一步验证这种方法，研究人员还利用了彩色的logo数据集LLD对图标化任务进行了训练，使得CycleGAN生成彩色的图标。与上一个任务相比，生成图标的质量在色彩的帮助下有了很大的提升，例如下图中的狗子图标化结果就比上图中要好很多，虽然颜色可能与原始图像有差异，但整体的配色与形状和我们的审美协调。