NIPS会议是20世纪80年代神经网络的孵化器，为其他可处理大型高维数据集的算法打开了大门。弗拉基米尔·瓦普尼克的支持向量机于1995年引发了轰动，为20世纪60年代就被遗弃的感知器网络开辟了一个新篇章。使支持向量机成为功能强大的分类器，并出现在每个神经网络工作者工具包中的，是“内核技巧”（kerneltrick），这是一种数学转换，相当于将数据从其采样空间重新映射到使其更容易被分离的超空间。托马索·波吉奥开发了一种名为“HMAX”的分级网络，可以对有限数量的对象进行分类。这表明，网络的性能会随着其深度的增加而提高。
在21世纪的头几年里，图形模型被开发出来，并与被称为“贝叶斯网络”（Bayesnetworks）的丰富的概率模型相结合，后者是基于18世纪英国数学家托马斯·贝叶斯（ThomasBayes）提出的一个定理，该定理允许使用新的证据来更新先前的信念。加州大学洛杉矶分校的朱迪亚·珀尔，在早些时候曾将基于贝叶斯分析的“信念网络”（beliefnetworks）引入人工智能，通过开发能够利用数据在网络中学习概率的方法，对贝叶斯分析进行了加强和扩展。这些网络以及其他网络的算法为机器学习研究人员打造出了强大的工具。
随着计算机的处理能力继续呈指数增长，训练更大规模的网络成为可能。大家曾普遍认为，具有更多隐藏单元、更宽的神经网络，比具有更多层数、更深的网络的效果更好，但是对于逐层训练的网络来说并非如此，并且误差梯度的消失问题（thevanishingerrorgradientproblem）被发现减慢了输入层附近的学习速度。然而，当这个问题最终被克服的时候，我们已经可以对深度反向传播网络进行训练了，而且该网络在基准测试中表现得更好。随着深度反向传播网络开始在计算机视觉领域挑战传统方法，2012年的NIPS大会上出现了这样一句话：“神经信息处理系统”里的“神经”又回来了。
在20世纪的最后10年以及21世纪前10年的计算机视觉领域，在识别图像中的对象方面取得的稳步进展，使得基准测试（用于比较不同方法）的性能每年能提高百分之零点几。方法改进的速度十分缓慢，这是因为每个新类别的对象，都需要有关专家对能够将它们与其
他对象区分开来所需的与姿态无关的特征进行甄别。随后，在2012年，杰弗里·辛顿和他的两名学生艾力克斯·克里泽夫斯基（AlexKrizhevsky）和伊利娅·苏特斯科娃向NIPS会议提交了一篇论文，关于使用深度学习训练AlexNet识别图像中的对象，AlexNet是本章要重点讨论的深度卷积网络。以拥有22000多个类别，超过1500万个标记过的高分辨率图像的ImageNet数据库作为基准，AlexNet史无前例地将识别错误率降低到了18%。8这次性能上的飞跃在计算机视觉社区中掀起了一股冲击波，加速推动了更大规模网络的发展，现在这些网络几乎已经达到了人类的水平。到2015年，ImageNet数据库的错误率已降至3.6%。9当时还在微软研究院的何恺明及其同事使用的低错误率深度学习网络，在许多方面都与视觉皮层十分相似；这类网络由杨立昆最早提出，并最初把它命名为“LeNet”。
卷积网络的渐进式改进
卷积网络多年来一直在经历许多渐进式改进。一个重要的补充，是将一个区域上的每个特征聚合起来，叫作“池化”（pooling）。这种操作提供了一种平移不变性（translationinvariance）的量度，类似于由休伯尔和威泽尔在初级视觉皮层中发现的复杂细胞，能够通过一个图块对整个视野中相同方向的线做出响应。另一个有用的操作是增益归一化（gainnormalization），就是调整输入的放大倍数，使每个单元都在其操作范围内工作，在皮层中是通过反馈抑制（feedbackinhibition）实现的。Sigmoid输出函数也被线性整流函数（rectifiedlinearunits，简称ReLUs）取代。在输入达到一个阈值之前这些单元的输出都为零，超过阈值之后则输出和输入呈线性增长。该操作的优点在于：低于阈值的单元被有效地排除在网络外，这更接近真实神经元中阈值的作用。
卷积网络的每一个性能的改进，其背后都有一个工程师可以理解的计算理由。但有了这些变化，它越来越接近20世纪60年代我们所了解的视觉皮层的体系结构，尽管当时我们只能去猜测简单和复杂单元的功能是什么，或者层级结构顶部的分布式表征的存在意味着什么。这说明了生物学与深度学习之间存在相得益彰的共生关系的潜力。
当深度学习遇到视觉层级结构
加州大学圣迭戈分校的帕特里夏·丘奇兰德不仅是心灵哲学家，同时也研究神经哲学。知识最终取决于大脑如何表达知识的说法，显然没有人阻止哲学家认为知识是独立于世界而存在的一种东西，用伊曼努尔·康德（ImmanuelKant）的话来说，就是“Dingansich”（物自身）。但同样清楚的是，如果我们（和其他动物一样）要在现实世界中生存，背景知识就是必不可少的。经过训练的多层神经网络的隐藏单元之间的活动模式，与被逐次记录下的大量生物神经之间的活动模式存在显著的相似性。受到这种相似性的驱动，帕特里夏和我在1992年编写了《计算脑》（TheComputationalBrain）一书，为基于大量神经元的神经科学研究开发了一个概念框架。（该书现在已经出到第二版了，如果你想更多地了解大脑式的运算，这会是一本很好的入门参考。）麻省理工学院的詹姆斯·狄卡罗（JamesDiCarlo）最近比较了猴子视觉皮层层级结构中不同神经元和深度学习神经网络中的单元，训练它们识别相同图片中的对象，分别观察它们的响应（见图9–2）。他得出结论：深度学习网络中每层神经元的统计特性，与皮层层级结构中神经元的统计特性非常接近。
深度学习网络中的单元与猴子视觉皮层中神经元性能存在相似性，但其原因仍然有待研究，尤其是考虑到猴子的大脑不太可能使用反向传播方式来进行学习。反向传播需要将详细的错误信号反馈给神经网络每层中的每个神经元，其精度比生物神经网络中已知反馈连接的精度要高得多。但其他学习算法在生物学上似乎更合理，例如玻尔兹曼机学习算法，该算法使用了已经在皮层中被发现的赫布突触可塑性。这引出了一个有趣的问题，是否存在一种深度学习的数学理论，能够适用于一大类学习算法（包括皮层中的那些）呢？在第7章中，我提到了对视觉层级结构的上层分类表面的分析，其决策表面比更低层级的表面更平坦。对决策表面的几何分析可能会引出对深度学习网络和大脑更深入的数学理解。
深度学习神经网络的一个优点是，我们可以从网络中的每个单元提取“记录”，并追踪信息流从一层到另一层的转变。然后可以将分析这种网络的策略用于分析大脑中的神经元。关于技术的一个奇妙之处在于，技术背后通常都有一个很好的解释，并且有强烈的动机来得到这种解释。第一台蒸汽发动机是由工程师根据他们的直觉建造的；解释发动机如何工作的热力学理论随后出现，并且帮助提升了发动机的效率。物理学家和数学家对深度学习网络的分析也正在顺利进行着。
有工作记忆的神经网络
施密德胡博是位于瑞士南部提契诺州（Ticino）曼诺小镇的DalleMolle人工智能研究所的联合主任。该小镇靠近阿尔卑斯山，周围有一些绝佳的徒步地点。神经网络领域的这位颇具创造性、特立独行的“罗德尼·丹泽菲尔德”a相信他的创造力并没有得到足够的赞誉。
2015年，KelvinXu及其同事在用一个深度学习网络识别图像中对象的同时，还连接了一个长短期记忆循环网络来标注图片。使用来自深度学习网络第一遍识别的场景中所有对象作为输入，他们训练长短期记忆循环网络输出一串英文单词，能够形容一个标注中的场景（见图9–4）。他们还训练了长短期记忆网络来识别图像中的位置，使其对应于标注中的每个单词。该应用令人印象深刻的地方在于，长短期记忆网络从未被训练来理解标注中句子的含义，只是根据图像中的对象及其位置输出一个语法正确的单词串。通过分析长短期记忆网络也许会引出一种新的语言理论，它将阐明网络的工作原理和自然语言的性质。
生成式对抗网络
在第7章中，玻尔兹曼机被当作一个生成模型进行了介绍，当输出被钳制到一个它已训练识别的类型中，并且其活动模式向下渗透到输入层时，就可以产生新的输入样本。伊恩·古德费洛（IanGoodfellow）、约书亚·本吉奥（YoshuaBengio）和他们在蒙特利尔大学的同事们表示，可以训练前馈网络，在对抗的背景（adversarialcontext）下生成更好的样本。一个生成卷积网络可以通过尝试欺骗另一个卷积神经网络来训练生成优质的图像样本，后者必须决定一个输入的图像是真实的还是虚假的。生成网络的输出被用来作为一个经过训练的判别卷积网络（discriminativeconvolutionalnetwork）的输入，后者只给出一个单一的输出：如果输入是真实图像，就返回1，否则返回0。这两个网络会相互竞争。生成网络试图增加判别网络的错误率，而判别网络则试图降低自身的错误率。由这两个目标之间的紧张关系产生的图像，拥有令人难以置信的照片级的真实感（见图9–5）。
别忘了，这些生成的图像是合成的，它们中的对象并不存在。它们是训练集中未标记图像的泛化版本。请注意，生成式对抗网络是无监督的，这使得它们可以使用无限的数据。这些网络还有许多其他应用，包括清除具有超高分辨率的星系天文图片中的噪声，以及学习表达富有情感的言语。
图9-72018年米兰的乔治·阿玛尼春夏男装秀。
这是米兰的时装周，衣着光鲜的模特们带着超凡脱俗的表情在T台上走秀（见图9–7）。时尚界正在经历暗潮涌动：“‘很多工作正在消失，’西尔维娅·文图里尼·芬迪（SilviaVenturiniFendi）在她的时装秀开场前说道，‘机器人会承担旧的工作，但它们唯一无法取代的就是我们的创造力和思维。’”现在想象一下经过训练的新一代对抗网络，它们可以生产新款式和高级时装，式样几乎无穷无尽。时尚界可能正处于一个新时代的边缘，而许多其他依赖创意的行业也面临着相同的处境。
应对现实社会的复杂性
我们应该对此感到惊讶吗？大脑皮层是哺乳动物的一项发明，在灵长类动物，尤其是人类中得到了高度发展。随着它的扩展，更多的功能慢慢出现，并且更多层次被添加到了关联区域，以实现更高阶的表征。很少有复杂系统可以实现如此高级的缩放。互联网是为数不多的已经被扩大了100万倍的工程系统之一。一旦通信数据包协议建立起来，互联网就会开始进化，正如DNA中的遗传密码使细胞演化成为可能一样。
使用相同的一组数据训练许多深度学习网络，会导致生成大量不同的网络，它们都具有大致相同的平均性能水平。我们想知道的是，所有这些同等优秀的网络有哪些共同之处，而对单个网络进行分析并不能揭示这一点。理解深度学习原理的另一种方法是进一步探索学习算法的空间；我们只在所有学习算法的空间中对几个位置进行了抽样尝试。从更广泛的探索中可能会出现一种学习计算理论，该理论与其他科学领域的理论一样深奥，可能为从自然界中发现的学习算法提供更多的解释。
蒙特利尔大学的约书亚·本吉奥（见图9–8），和杨立昆一起，接替杰弗里·辛顿，成为CIFAR神经计算和NCAP项目的主任，该项目在通过十年评估后更名为“机器学习和大脑学习”项目（LearninginMachinesandBrains）。约书亚率领蒙特利尔大学的一个团队，致力于应用深度学习来处理自然语言，这将成为“机器学习和大脑学习”项目新的研究重点。在十多年的会议中，这个由20多名教师和研究员组成的小组开启了深度学习的研究。过去5年来，深度学习在过去难以解决的许多问题上取得了实质性进展，这些进展归功于小组成员的努力，他们当然只是一个更庞大社区中的一小部分人。
尽管深度学习网络的能力已经在许多应用中得到了证明，但如果单靠自身，它们在现实世界中永远都无法存活下来。29它们受到了研究者的青睐，后者为其提供数据，调整超参数，例如学习速度、层数和每层中的单元数量，以改善收敛效果，还为其提供了大量计算资源。另一方面，如果没有大脑和身体的其他部分提供支持和自主权，大脑皮层也无法在现实世界中存活。在一个不确定的世界中，这种支持和自主权是一个比模式识别更难解决的问题。第10章将会介绍一种古老的学习算法，它通过激励我们寻求对自身有利的经验来帮助我们在自然界中生存。