CVPR 2020: 8比特数值也能训练模型?商汤提出训练加速新算法
实验结果
图像分类任务:
本文在CIFAR10和ImageNet等图像分类数据集进行INT8训练实验。从下表结果中可以看出,在大多数网络结构中均取得了比现有最好方法更优的精度,并且首次在MobileNet、Inception等网络上进行量化训练实验,精度损失也在1.5%以内。
目标检测任务:
同时,本文也首次尝试在PASCAL和COCO等目标检测数据集上进行INT8训练实验,精度损失也在2%以内。
已有的少量探究梯度量化的论文[4]均未报告算法在实际训练任务中的真实加速性能,为了最大限度将方法实用化,本文在GeForce GTX1080TI显卡上编写并优化了用于支持INT8训练的卷积前向和后向计算核心。实测结果表明,使用INT8卷积计算的前向和后向过程相比于浮点计算有明显的加速,其中前向过程平均加速1.63倍,后向过程平均加速1.94倍。如下图所示:
同时,本文在实际训练过程中进行了完整的端到端测试,可以看到,INT8训练可以将ResNet50的一轮训练过程从0.360秒降低到0.293秒,整体训练过程提速了22%。
References
[1] Ruihao Gong, Xianglong Liu, Shenghu Jiang, TianxiangLi,Peng Hu, Jiazhen Lin, Fengwei Yu, and Junjie Yan. Differen-tiable softquantization: Bridging full-precisionand low-bitneural networks. In ICCV, October 2019.
[2] RundongLi, Yan Wang, Feng Liang, Hongwei Qin, Junjie Yan, and Rui Fan. Fully quantizednetwork for object detection. In The IEEE Conference on Computer Vision andPattern Recognition (CVPR), June 2019.
[3] Benoit Jacob,Skirmantas Kligys, Bo Chen, Menglong Zhu, Matthew Tang, Andrew Howard, HartwigAdam, and Dmitry Kalenichenko. Quantization and training of neural networks forefficient integer-arithmetic-only inference. 2018 IEEE Conference on ComputerVision and Pattern Recognition(CVPR), June 2018.
[4] Yukuan Yang, Shuang Wu, LeiDeng, Tianyi Yan, Yuan Xie, and Guoqi Li. Training high-performance andlarge-scale deep neural networks with full 8-bit integers, 2019.
最新活动更多
-
11月28日立即报名>>> 2024工程师系列—工业电子技术在线会议
-
12月19日立即报名>> 【线下会议】OFweek 2024(第九届)物联网产业大会
-
即日-12.26火热报名中>> OFweek2024中国智造CIO在线峰会
-
即日-2025.8.1立即下载>> 《2024智能制造产业高端化、智能化、绿色化发展蓝皮书》
-
精彩回顾立即查看>> 2024 智能家居出海论坛
-
精彩回顾立即查看>> 【在线会议】多物理场仿真助跑新能源汽车
推荐专题
发表评论
请输入评论内容...
请输入评论/评论长度6~500个字
暂无评论
暂无评论