有了这款可扩展、分布式的深度学习软件,IBM就能和AI巨人一起共舞
IBM公司在21世纪早期引进了Watson,从而进入了人工智能现在的周期,并且从那时候开始在不断加大力度。最近,IBM发布了PowerAI,IBM的软件工具包解决方案与OpenPower系统配合使用,针对那些不想完全从头开始开发自己的AI解决方案,但是仍然希望定制满足自己特定深度学习需求的企业。如今,IBM Research公布了一项新突破,这将只会进一步加强PowerAI和其它的AI产品,这是一个在过去六个月中我所看到的突破性的分布式深度学习软件。
摆脱单点瓶颈
所有一直关注人工智能的人都知道,深度学习在近几年才真正发展起来。它为商业领域和消费者的百个应用程序提供支持,并且在持续增加。然而,阻碍深度学习进一步激增的最大问题之一是可扩展性问题。现在大多数AI服务器只是一个单一的系统,而不是多个系统的组合。最流行的开源深度学习软件框架在多个服务器上表现不佳,造成了一个耗时的瓶颈。换句话说,尽管许多数据科学家已经可以访问4到8个GPU服务器,他们不能利用它扩展到单个节点之外,到目前为止,这个软件并不是为此而设计的。
输入IBM DDL库:这个库使用IBM Research的独特集群方式构建,连接到领先的开源AI框架(如:TensorFlow, Caffee, Torch, 和Chainer)。通过DDL,这些框架能扩展到数十台IBM服务器,利用数百个GPU—一种旧的昼夜不同的处理模型。为了描绘一张照片,当IBM最初试图用 ImageNet-22K 数据集来训练一个模型时,使用ResNet-101模型,在一台Power “Minsky” 服务器上,加上4台英伟达P100 GPU加速器,花费16天。16天的训练意味着大大延迟了洞察力,以及严重阻碍生产力。
IBM称DDL为“深度学习的喷气式引擎”—一个吸引人的名字,确实不太离谱。IBM表示,使用DDL技术,能够在64台Power “Minsky”服务器上,一共256个英伟达的P100GPU,将相同的流程缩减到7个小时。让我重申一下:16天缩减到7个小时。如果这些结果精确的话,那么为什么IBM认为它可以真正的改变游戏规则?在7个小时内,IBM的新的图像识别准确度33.8%的记录,超过了微软在业界创立的10天精确度29.9%的记录。为了完成这一切,IBM表示,DDL可以高效扩展,上升到256个GPU,Caffe深度学习框架的效率提升到95%。
测试版已经上线
开发者不用非要等到尝试这项新技术。IBM research正在为IBM系统提供一个DDL测试版,IBM系统现在已经发布了新版本IBM PowerAI (TensorFlow 和 Caffe, Torch 和 Chainer 即将推出)的第四个版本。我认为这将是IBM电源系统的一个重要的补充,他被称作“瑞士军刀加速器”—标准PCI Express、CAPI和NVLink标准,都被封装在一个平台上。
关于DDL,另外一个需要特别注意的是,它将不仅可以在本地使用,还可以在云端使用—通过云端服务商Nimbix提供。今天的异构环境,灵活性是显而易见的。开发者能够在Nimbix者在IBM Power系统服务器上,使用测试版本。
总结
很有意思的事情是,这项新技术是来自于IBM,而不是其它如谷歌或者Facebook,这样更大更响亮的AI组件支持者。看起来,IBM能够继续携“第一”到桌面上,IBM不仅是企业领的主要参与者,还在深度学习领域也是。DDL和OpenPOWER是秘密资源—我相信未来将给IBM所需要的结果—大大缩短训练时间,提高精确度和效率。我认为消除了瓶颈,DDL有潜力去实现打开深度学习的门闸。这对IBM、PowerAI和OpenPOWER是真正改变游戏规则。
最新活动更多
-
11月28日立即报名>>> 2024工程师系列—工业电子技术在线会议
-
12月19日立即报名>> 【线下会议】OFweek 2024(第九届)物联网产业大会
-
即日-12.26火热报名中>> OFweek2024中国智造CIO在线峰会
-
即日-2025.8.1立即下载>> 《2024智能制造产业高端化、智能化、绿色化发展蓝皮书》
-
精彩回顾立即查看>> 2024 智能家居出海论坛
-
精彩回顾立即查看>> 【在线会议】多物理场仿真助跑新能源汽车
推荐专题
发表评论
请输入评论内容...
请输入评论/评论长度6~500个字
暂无评论
暂无评论