四、深度学习：机器学习的更高智能进阶

1．深度学习的背景

2006年，加拿大多伦多大学教授、机器学习领域的泰斗Geoffrey Hinton和学生Salakhutdinov在Science上发表文章 《Reducing the Dimensionalitg of Data with Neural Neworks》，这篇文章有两个主要观点：1）多隐层神经网络有更厉害的学习能力，可以表达更多特征来描述对象；2）训练深度神经网络时，可通过降维（pre－training）来实现，老教授设计出来的Autoencoder网络能够快速找到好的全局最优点，采用无监督的方法先分开对每层网络进行训练，然后再来微调。该文章的发表翻开了深度学习的新篇章。2013年4月，深度学习技术被《麻省理工学院技术评论》（MIT TechnologyReview）杂志列为2013年十大突破性技术（Breakthrough Technology） 之首。与浅层学习模型依赖人工经验不同，深层学习模型通过构建机器学习模型和海量的训练数据，来学习更有用的特征，从而最终提升分类或预测的准确性。

图34  深度学习的发展历程

2．深度学习的定义

深度学习是机器学习研究领域的分支，隶属于神经网络体系。深度学习通过建立、模拟人脑的信息处理神经结构来实现对外部输入的数据进行从低级到高级的特征提取，从而能够使机器理解学习数据，获得信息，因具有多个隐藏层的神经网络又被称为深度神经网络。深度学习将数据输入系统后，通过建模及模拟人脑的神经网从而进行学习的技术，像生物神经元一样，神经网络系统中有系列分层排列的模拟神经元（信息传递的连接点），且经过每个神经元的响应函数都会分配一个相应的“权值”，表示彼此之间的连接强度。通过每层神经元相互“连接”，计算机就可以由达到最佳方案时所有神经元的加权和，从而可以实现这一决策方案。

3．深度学习的基础和实现

①深度学习的思想基础一误差逆传播算法（BP算法）

BP神经网络（如图35） 是1986年Rumelhart和McClelland等人提出的，是一种按误差逆传播算法训练的多层前馈神经网络，它存储大量映射模式关系，无需揭示其映射方程。BP算法的核心思想是采用最速下降法（梯度下降法），通过反向传播调试网络的权值和阈值，使得其误差平方和最小。

图35 BP神经网络

②图像处理领域的里程碑一卷积神经网络（CNN）

20世纪60年代，Hubel和Wiesel在研究猫脑皮层中用于局部敏感和方向选择的神经元时发现网络结构可以降低反馈神经网络的复杂性，进而提出了卷积神经网络的概念。由于其避免了对图像的前期预处理，可以直接输入原始图像，CNN已经成为神经网络的标志性代表之一。

图36  卷积神经网络（CNN）

③深度神经网络的实现基础一玻尔兹曼机和受限玻尔兹曼机

玻尔兹曼机 是Hinton和Sejnowski提出的随机递归神经网络，也可以看做是随机的Hopfield网络，因样本分布遵循玻尔兹曼分布而命名为BM。

图37  玻尔兹曼机

4．深度学习的重大成就

利用机器学习，人工智能系统获得了归纳推理和决策能力；而深度学习更将这一能力推向了更高的层次。目前，在深度学习中，卷积神经网络（Convolutional Neural Network，简称CNN）作为最有效的深层神经网络，现在已经被越来越多地应用到许多智能领域之中，并且它们越来越像人类了，例如AlphaGo、SIRI和FACEBOOK等都应用了卷积神经网络。在中国目前非常关注的智能制造领域中，制造机器人是深度学习的经典案例，深度学习的机器人能够自动适应外部环境的变化，面对新型任务时可以自动重新调整算法和技术，

5．深度学习的发展展望

深度学习必将成为人工智能发展的核心驱动力。虽然深度学习在实际应用中取得了许多成就，但是仍有局限性：理论研究缺乏、无监督学习能力弱、缺少逻辑推理和记忆能力等。深度学习的研究多是基于实验训练进行的，但是对其内部原理，学习本质研究很少。现在的研究多是在网络架构、参数选择等方面，而且深度学习的还有进一步提升空间，也需要更加完备深入的理论支撑其发展。

目前主流应用还是以监督学习为主的，但在实际生活中，无标签未知的数据占主体，所以更应该应用可以发现事物内在关系的无监督学习，未来还有更广阔的发展空间。深度学习是人工智能发展的巨大推力，目前阶段中深度学习更侧重于处理数据，在面对更复杂的任务时，则需要更多记忆能力和逻辑推理能力。

五：机器学习的未来：挑战与机遇并存

机器学习是人工智能应用的又一重要研究领域。当今，尽管在机器学习领域已经取得重大技术进展，但就目前机器学习发展现状而言，自主学习能力还十分有限，还不具备类似人那样的学习能力，同时机器学习的发展也面临着巨大的挑战，诸如泛化能力、速度、可理解性以及数据利用能力等技术性难关必须克服。但令人可喜的是，在某些复杂的类人神经分析算法的开发领域，计算机专家已经取得了很大进展，人们已经可以开发出许多自主性的算法和模型让机器展现出高效的学习能力。对机器学习的进一步深入研究，势必推动人工智能技术的深化应用与发展。