将三维形貌转为艺术简体画？神经轮廓算法助力绘制三维形状精准轮廓

2020-05-25 14:16

描绘目标的精确线条一直是艺术家引以为豪的高超手艺，寥寥几笔就能刻画出逼真的形貌。这看似简单的背后却需要艺术家长期的训练对三维形状的深入理解和对线条的取舍与光影的平衡。

如何让机器学会艺术家的这种能力是计算机视觉领域一个非常有意思的开放性问题，需要综合三维形状理解、视觉感知和图像风格化等多个领域的技术。来自麻省大学阿默斯特分校和Adobe的研究人员最近提出了一种结合可操作几何特征的三维模块和操作图像与视角特征的图像模块共同实现对三维模型线条的描述，这种方法在精度和视觉效果上都超过了传统的方法，可以精确简洁地描述模型的线条表示。

Neural Contours模型

从三维形状到二维线条草图看起来简单，但用先前的图像风格迁移方法来处理会使得模型无法有效获取形状隐含的的三维几何信息。如果使用分析几何类的算法虽然可以捕捉基本的线条特征，却无法捕捉真实绘画时候的复杂线条特征，针对每一个模型都需要一系列参数来调节。综合三维分析和图像特征是一个可行的研究方向。

在本研究中研究人员的目标是通过三维形状生成线条稿，模型包含了几何与图像两个分支。其中几何分支基于轮廓、凹凸和形貌实现线条的绘制，不同于现有手工调参方法，这一分支可以利用可差分模型自动对参数进行选择。而图像分支则使用了标准的图像迁移网络模型，同时加入了基于视角的形状表示。通过两个分支的有机结合可以为三维形状得到较为清晰、完整、高效的线条表示。

下图显示了模型的基本架构，其输入为三维形状和相机参数、输出为对应视角下的2D灰度线条稿。

模型分为几何分支和图像迁移分支，其中几何分支主要基于3D模型的几何特征来进行线条绘制、图像迁移分支则通过图对图的迁移来学习线条，同时来利用了排序模块来决定最好的线条参数。

几何分支主要依赖于经典的几何线条定义，包括启发性轮廓线（suggestive contours），脊线谷线与显著脊线（ridges，valleys，apparent ridges）等。

生成线条的第一部分是轮廓线Occluding Contours，模型利用插值轮廓算法生成了一幅二进制掩膜图Ic，在轮廓线投影位置其值为＇on＇。这是无参数模型不需要进行任何学习，其生成结果如上图b所示。

生成线条的第二部分是启发性轮廓SC，可以定义启发性轮廓是曲线残差集合中值为零但方向导数大于零的点。针对网格可以通过寻找曲线残差几何的零集来得到这些曲线，如图c所示如果渲染所有的SC是不现实的，利用一个阈值将较弱的SC去除掉得到如上图d中的结果。为了自动化地确定这一阈值，研究人员引入了可查分的方法来确定阈值的结果在网络模块的上半部分就显示了SC的投影图和残差方向导数。另一部分与显著脊线图和视角相关的曲率一同作为输入，以便自动化确定了显著脊线的阈值。上图中g和h也相应的显示了显著脊线在阈值过滤的前后结果。

1 2 3 下一页>