5 Rethinking Bottleneck Structure for Efficient Mobile Network Design

作者：Zhou Daquan，Qibin Hou，Yunpeng Chen，Jiashi Feng，Shuicheng Yan

机构：新加坡国立大学，依图科技

简介：反向剩余块是近年来移动网络体系结构设计的主流。它通过引入反向残差学习和使用线性瓶颈两种设计规则来改变传统的剩余瓶颈。本文对这种设计变更的必要性进行了反思，发现这种变更可能带来信息丢失和梯度混淆的风险。因此，我们建议翻转结构并提出一种新的瓶颈设计，称为沙漏块，在更高的维度上执行身份映射和空间变换，从而有效地减少信息丢失和梯度混淆。大量的实验表明，与一般的观点不同，这种瓶颈结构比倒置的瓶颈结构对移动网络更为有利。在ImageNet分类中，通过简单地用我们的沙漏块代替倒立的残差块而不增加参数和计算量，分类精度比MobileNetV2提高1．7％以上。在pascalvoc2007测试集上，观察到在目标检测方面也有0．9％的mAP改进。通过将其加入神经结构搜索方法DARTS的搜索空间，进一步验证了沙漏块的有效性。经过25％的参数简化，分类精度比以前的DARTS模型提高了0．13％。

6 MutualNet： Adaptive ConvNet via Mutual Learning from Network Width and Resolution

作者：Taojiannan Yang，Sijie Zhu，Chen Chen，Shen Yan，Mi Zhang，Andrew Willis

机构：北加利福利亚大学，密歇根州立大学

简介：本文提出了宽度－分辨率相互学习的方法（MutualNet），根据动态的资源约束来训练网络，实现运行时自适应的准确率－效率的平衡。该方法利用不同的宽度和输入分辨率，训练了多个子网络，每个网络都互相学习多尺度的特征表示。相对于目前SOTA的自适应网络 US－Net，本文方法在ImageNet上取得了更高的top－1准确率，要比最优的复合尺度的MobileNet和EfficientNet 高1．5％1．5％1．5％。在COCO目标检测、实例分割和迁移学习任务上，该方法也进行了验证。MutualNet的训练策略可以提升单个网络的性能，在效率（GPU搜索时间：1500 vs． 0）和准确率方面都显著超过了AutoAugmentation。

7 PSConv： Squeezing Feature Pyramid into One Compact Poly－Scale Convolutional Layer

作者：Duo Li，Anbang Yao，Qifeng Chen

机构：香港科技大学，intel实验室

简介：尽管卷积神经网络（CNNs）具有强大的建模能力，但它往往具有尺度敏感性。为了提高cnn对尺度方差的鲁棒性，在现有的解决方案中，基于不同层次或滤波器的多尺度特征融合受到了广泛的关注，而忽略了更细粒度的核空间。我们通过在更细的粒度中利用多尺度特性来弥补这一遗憾。所提出的卷积运算称为多尺度卷积（PSConv），它混合了膨胀率的频谱，并巧妙地将其分配到每个滤波器关于单个卷积层的各个卷积核中。具体地说，膨胀率沿着滤波器的输入和输出通道的轴周期性地变化，以一种简洁的方式将各种尺度上的特征聚集起来。PSConv可能是许多主流CNN主干网中香草卷积的一个替代品，允许在不引入额外参数和计算复杂性的情况下进行更好的表示学习。在ImageNet和MS－COCO基准测试上的综合实验验证了PSConv的优越性能。

图像分类

1 Learning To Classify Images Without Labels

作者：Van Gansbeke Wouter，Vandenhende Simon，Georgoulis Stamatios，Proesmans Marc，Van Gool Luc

机构：KU Leuven／ESAT－PSI，苏黎世联邦理工学院

简介：有没有可能在不使用地面真相注释的情况下自动分类图像？或者，即使是类本身，也不是先验知识吗？这些仍然是计算机视觉中的重要问题。有几种方法试图以端到端的方式解决这个问题。在本文中，作者偏离了最近的工作，提出了一种将特征学习和聚类分离的两步方法。首先，利用表征学习中的自监督任务来获得语义上有意义的特征。第二，在可学习的聚类方法中，使用所获得的特征作为先验。在这样做的时候，去除了集群学习依赖于低级特征的能力，这是当前端到端学习方法中存在的。实验结果表明，本文的分类准确率大大超过了现有的分类方法，特别是CIFAR10为＋26．9％，CIFAR100－20为＋21．5％，STL10为＋11．7％。此外，在ImageNet上的结果表明，本文的方法是第一个能够很好地扩展到200个随机选择的类，获得69．3％的top－1和85．5％的top－5准确率，并且在完全监督的方法下，差异小于7．5％。