美国科学杂志nautil．us《鹦鹉螺》作家Aaron M． Bornstein发表了针对人工智能时代下神经网络模型的深度报道。从语音识别到语言翻译，从下围棋的机器人到自动驾驶汽车，各行各业都在该人工智能的驱动下出现了新的突破。虽然现代神经网络的表现令人激动，但也面临一个棘手的问题：没人理解它们的运行机制，这也就意味着，没人能预测它们何时可能失灵。正因为如此，许多人迟疑不前、不敢对神秘莫测的神经网络下注。

在神经网络中，数据从一层传递到另一层，每一步都经历一些简单的转变。在输入层和输出层之间还隐藏着若干层，以及众多节点组和连接。其中往往找不出可被人类解读的规律，与输入或输出也没有明显的联系。“深度”网络便是隐藏层数量较多的神经网络

以下为文章全文：

作为IBM的一名研究科学家，迪米特里·马里奥托夫其实不太说得上来自己究竟打造了什么。他的部分工作内容是打造机器学习系统、解决IBM公司客户面临的棘手问题。例如，他曾为一家大型保险公司编写了一套程序。这项任务极具挑战性，要用到一套十分复杂的算法。在向客户解释项目结果时，马里奥托夫更是大伤脑筋。“我们没办法向他们解释这套模型，因为他们没受过机器学习方面的培训。”

其实，就算这些客户都是机器学习专家，可能也于事无补。因为马里奥托夫打造的模型为人工神经网络，要从特定类型的数据中寻找规律。在上文提到的例子中，这些数据就是保险公司的客户记录。此类网络投入实际应用已有半个世纪之久，但近年来又有愈演愈烈之势。从语音识别到语言翻译，从下围棋的机器人到自动驾驶汽车，各行各业都在该技术的驱动下出现了新的突破。

虽然现代神经网络的表现令人激动，但也面临一个棘手的问题：没人理解它们的运行机制，这也就意味着，没人能预测它们何时可能失灵。

以机器学习专家里奇·卡鲁阿纳和同事们前几年报告的一起事件为例：匹兹堡大学医学中心的一支研究团队曾利用机器学习技术预测肺炎患者是否会出现严重并发症。他们希望将并发症风险较低的患者转移到门诊进行治疗，好腾出更多床位和人手。该团队试了几种不同的方法，包括各种各样的神经网络，以及由软件生成的决策树，后者可总结出清晰易懂、能被人类理解的规则。

在现代机器学习算法中，可解释性与精确度难以两全其美。深度学习精确度最高，同时可解释性最低

神经网络的正确率比其它方法都要高。但当研究人员和医生们分析决策树提出的规则时，却发现了一些令人不安的结果：按照其中一条规则，医生应当让已患有哮喘的肺炎病人出院，而医生们都知道，哮喘患者极易出现并发症。

这套模型完全遵从了指令：

从数据中找出规律。它之所以给出了如此差劲的建议，其实是由数据中的一个巧合导致的。按照医院政策，身患哮喘的肺炎患者需接受强化护理。而这项政策效果极佳，哮喘患者几乎从不会产生严重并发症。由于这些额外护理改变了该医院的患者记录，算法预测的结果也就截然不同了。

这项研究充分体现了算法“可解释性”的价值所在。卡鲁阿纳解释道：“如果这套以规则为基础的系统学到了‘哮喘会降低并发症风险’这一规则，神经网络自然也会学到这一点。”但人类读不懂神经网络，因此很难预知其结果。马里奥托夫指出，若不是有一套可解释的模型，“这套系统可能真的会害死人。”

正因为如此，许多人迟疑不前、不敢对神秘莫测的神经网络下注。马里奥托夫为客户提供了两套模型：一套是神经网络模型，虽然精确，但难以理解；另一套则是以规则为基础的模型，能够用大白话向客户解释运作原理。尽管保险公司对精确度要求极高，每个百分点都十分重要，但客户仍选择了精确度稍逊的第二套模型。“他们觉得第二套模型更容易理解，”马里奥托夫表示，“他们非常看重直观性。”

随着神秘难解的神经网络影响力与日俱增，就连政府都开始对其表示关注。欧盟两年前提出，应给予公民“要求解释”的权利，算法决策需公开透明。但这项立法或许难以实施，因为立法者并未阐明“透明”的含义。也不清楚这一省略是由于立法者忽略了这一问题、还是觉得其太过复杂导致。

事实上，有些人认为这个词根本无法定义。目前我们虽然知道神经网络在做什么（毕竟它们归根到底只是电脑程序），但我们对“怎么做、为何做”几乎一无所知。神经网络由成百上千万的独立单位、即神经元构成。每个神经元都可将大量数字输入转化为单个数字输出，再传递给另一个、或多个神经元。就像在人脑中一样，这些神经元也分成若干“层”。一组细胞接收下一层细胞的输入，再将输出结果传递给上一层。

神经网络可通过输入大量数据进行训练，同时不断调整各层之间的联系，直到该网络计算后输出的结果尽可能接近已知结果（通常分为若干类别）。近年来该领域之所以发展迅猛，还要归功于几项可快速训练深度网络的新技术。在深度网络中，初始输入和最终输出之间相隔多层。有一套叫AlexNet的著名深度网络，可对照片进行归类，根据照片的细微差别将其划入不同类别。该网络含有超过6000万个“权重”，根据不同权重，神经元会对每项输入给予不同程度的关注。隶属于康奈尔大学和AI初创公司Geometric Intelligence的计算机科学家杰森·尤辛斯基指出：“要想理解这个神经网络，你就要对这6000万个权重都有一定的了解。”

而就算能够实现这种可解读性，也未必是件好事。对可解读性的要求相当于制约了系统的能力，使模型无法仅关注输入输出数据、提供“纯粹”的解决方案，从而有降低精确度之嫌。美国国防部高级研究计划局项目主管戴维·甘宁曾在一次会议上对此进行了总结。在他展示的图表中，深度神经网络是现代机器学习方法中最难以理解的一种，而以规则为基础、重视可解释性胜过效率的决策树则是最容易理解的一种。