德国亚琛工业大学提出DualConvMesh-Net更好处理3D网格数据

2020-05-09 15:25

另一种可行的卷积则定义于顶点的相对位置上，但本文则重点研究那些在欧式卷积和侧地线卷积下不同的区域：测地线图卷积定义的领域是沿着表面可以通过一条边触及的顶点，这意味着邻域中只包含局域测地线尺度上接近的点；而欧式图卷积则基于欧式距离定义的邻域，一般利用k－nn或者一定半径内的图结构来得到。

为了在不同层级上对网格进行处理，提出了基于池化追踪图（pooling trace map）的方式来对网格进行不断简化。其中第0级是原始的分辨率最高的层次，网格的分辨率随着l的增加而降低。池化追踪图的目的是将l层的顶点通过双射的方式映射到下一个层次l＋1的顶点集合中。而后通过边的简化算法得到l＋1层的边，并连接得到的顶点。下图显示了网格的池化过程，在简化网格的同时保持测地线邻域。

实际过程中使用了两种成熟的集合处理方法，Quadric Error Metrics（QEM）和Vertex Clustering（VC），结合池化追踪图来实现池化和上采样的过程。

针对网格的池化过程

大规模场景分割

为了验证方法的有效性，研究人员在S3DIS、ScanNetV2和Matterport3D等三个大规模场景分割数据集上进行了实验。其中S3DIS来自斯坦福大学，包含六个大规模的室内场景，共三栋不同楼房内的271个房间和13类语义标签；ScanNetv2则包含了种类丰富的室内场景和对应的重建表面、纹理网格、基准语义标注等，其中包含了20个语义分类；Matterport3D包含了90个建筑尺度的RGB－D扫描结果和21个类别标注。
通过充分训练后，下表显示了本文方法的性能。在ScanNet数据和S3DIS数据集上，本方法得到了较好的结果，超过了现有的图卷积方法。