三位深度学习之父共摘“计算机界的诺贝尔奖”

原标题:图灵奖后,深度学习呼唤深度理解

深度学习领域三位先驱——约书亚·本吉奥、杰弗里·辛顿和雅恩·勒昆荣获2018年图灵奖。

图灵奖素有“计算机界的诺贝尔奖”之称,三位获奖者也都是人工智能领域大名鼎鼎的科学家。本吉奥是蒙特利尔大学教授,辛顿是谷歌公司副总裁、多伦多大学名誉教授,勒昆是纽约大学教授、脸书公司首席人工智能科学家。

“人工智能目前是所有科学领域中发展最快的学科之一,也是当今社会最为热议的话题之一。”美国计算机学会主席切里·潘凯克说,这很大程度上归功于深度学习领域近年来取得显著进展,而这一领域的基础是由本吉奥、辛顿和勒昆奠定的。

将单层神经网络拓展成多层

要解释三位科学家的贡献,首先得说说人工神经网络。

所谓人工神经网络,是指模仿人的神经机制,在计算机中模拟出一层或多层被称为“神经元”的计算单元,使它们之间通过加权连接而互相影响。通过改变这些节点的加权值,可以改变人工神经网络的计算性能。

本吉奥、辛顿和勒昆认识到通过搭建多层神经元,形成比较“深”的人工神经网络的重要性,这正是“深度学习”一词的由来之一。

“三位获奖者确实可称为深度学习领域的奠基人。”中科院自动化所模式识别国家重点实验室研究员宗成庆接受科技日报记者采访时说,早期实现的神经网络是单层的,他们把单层神经网络拓展成多层并付诸应用,在图像识别、语音识别和机器翻译等很多任务上都取得了不错的效果。

“通过大大提高计算机理解世界的能力,深度神经网络不仅在改变计算机领域,也在改变科学和人类行为所涉及的每一个领域。”谷歌高级副总裁杰夫·迪恩说。

从不被认可坚持到产业爆发

上世纪80年代,科学家开始使用人工神经网络模型帮助计算机完成模式识别任务,并模拟人脑的智能。辛顿、本吉奥和勒昆一直把这种思路坚持到本世纪,尽管起初他们的想法不被认可。

“计算机科学界已认识到这种方法并不离奇,这是好事。”辛顿在接受英国广播公司(BBC)采访时说,多年来大家都觉得人工神经网络不值一提。

辛顿自上世纪80年代早期就开始倡导机器学习方法,他和其他科学家提出将“人工神经网络”作为机器学习研究的基石。现在,深度学习已在人工智能领域被普遍采纳。

“很大一部分原因是计算机性能有了根本性提高。”宗成庆告诉科技日报记者,上世纪八九十年代人工智能出现一波热潮,但当时计算机的存储容量、计算能力都十分有限,只能计算单层神经网络。如今计算机性能大大提升,再加上有海量数据支撑,在多层神经网络中训练大规模数据得以快速实现。

深度学习仍待更大突破

“深度学习技术目前在计算机领域的应用非常普遍。从应用角度看,这种方法确实可使很多任务的处理取得最优结果。”宗成庆说。

但在宗成庆看来,已得到广泛采用的深度学习技术未来仍需更大突破。

抛开其进展不谈,现阶段深度学习技术还无法让计算机像人一样去深度理解语言、语音和图像。比如,智能手机助手看起来口齿伶俐,却并未真正理解我们的话。假如对它说“臭豆腐真香啊”,它的答复会莫名其妙,或者给出怎么理解都不错的答案。

宗成庆认为,以自然语言理解为例,下一步的方向是让机器在语义、概念上进行推理和计算,而不仅停留在对信号层面的处理。这就涉及很多神经科学、认知科学和计算科学结合的问题。

与此同时,人工神经网络依然是个“黑箱子”,可解释性比较差。让它将英文翻译成中文,如果出现错误,是哪个环节导致错误依然难以解释。处理特定任务究竟需要几层神经网络才能实现最佳,也没有合理解释,只能依靠经验和实验大量地测试。

THE END
1.神经网络中的单层神经网络企鹅号 - 轨道车辆:技术篇:单层神经网络是什么,看完这篇文章你就懂了 一、神经网络 1.概述 神经网络是一种模拟人脑的神经网络以期能够实现类人工智能的机器学习技术。人脑中的神经网络是一个非常复杂的组织。成人的大脑中估计有1000亿个神经元之多。 https://blog.csdn.net/qq_41498261/article/details/103772726
2.单层网络神经网络python代码什么是单层神经网络在前面,我们介绍了单层神经网络,以及如何训练这个单层的神经网络,我们可以在前面的代码中看到,单层的神经网络的训练精度不是那么高,即便是设置精度到0.000001,训练200000万次,结果也不是那么好,而且关键的是sigmoid还会出现梯度消失问题,以及之前提到的ReLU函数是否有效的问题,都可用多层神经网络解决,因为一旦搭建了多层神https://blog.51cto.com/u_12204/8325758
3.不同的人工神经网络模型各有什么作用?前馈神经网络是一种最基本的神经网络结构,其信息流动是单向的,从输入层到隐藏层,最后到输出层。FNNs主要用于解决分类和回归问题。 1.1 单层感知器(Single-Layer Perceptron, SLP) 单层感知器是最简单的FNNs,只有一个神经元。SLP主要用于线性可分问题,如逻辑门和简单的分类任务。 https://m.elecfans.com/article/3741607.html
4.技术篇:单层神经网络是什么,看完这篇文章你就懂了本文以一种简单的,循序的方式讲解单层神经网络,之后的文章会向大家逐步介绍两层神经网络,多层神经网络,并对神经网络的发展做一个简要的展望,本文适合对神经网络了解不多的同学。本文对阅读没有一定的前提要求,但是懂一些机器学习基础会更好地帮助理解本文。神经网络是https://cloud.tencent.com/developer/news/389738
5.8.单层神经网络2 tensor实现单层神经网络的正向传播 让我们使用一组非常简单(简直是简单过头了)的代码来实现一下回归神经网络求解 的过程,在神经网络中,这个过程是从左向右进行的,被称为神经网络的正向传播(forward spread)(当然,这是正向传播中非常简单的一种情况)。来看下面这组数据: https://www.jianshu.com/p/0eaf69a5aab4
6.深度学习基础(十四)单层神经网络 我们来总结一下,看上一节的一个卷积的图。 我们在神经网络中的每一层的计算公式都是wx+b。 在卷积中也不例外。 那么在卷积中, 我们的过滤器中的参数就代表着W,输入的图片的RGB矩阵就是X(特征),同时我们再加入b,就能完成一个神经元的计算了。 https://maimai.cn/article/detail?fid=306071981&efid=4fOUNqiEqEmM-SCSxksClQ
7.神经网络单层感知器(SingleLayerPerceptron,SLP)实现神经网络-单层感知器(Single-Layer Perceptron,SLP)实现 人大经济论坛-经管之家:分享大学、考研、论文、会计、留学、数据、经济学、金融学、管理学、统计学、博弈论、统计年鉴、行业分析包括等相关资源。 经管之家是国内活跃的在线教育咨询平台! 经管之家新媒体交易平台https://bbs.pinggu.org/jg/kaoyankaobo_kaoyan_5757745_1.html
8.FlyAI形堂循环神经网络(RNN)双向循环神经网络每一层循环运算可以拆分为两层,这两层网络都输入序列X,但是信息传递方向相反。如下图所示: 图中循环运算公式如下: 第一行是顺序运算,第二行是逆序运算,第三行是将两种顺序的输出状态进行组合。 3 TensorFlow2实现循环神经网络 3.1 单层节点 https://www.flyai.com/article/604
9.人工智能导论神经网络业界新闻Minsky说过单层神经网络无法解决异或问题。但是当增加一个计算层以后,两层神经网络不仅可以解决异或问题,而且具有非常好的非线性分类效果。算力受限:不过两层神经网络的计算是一个问题,在当时算力受限的情况下,并没有一个较好的解法。1961年,Frank Rosenblatt(感知器模型的坚定支持者,也是明斯基的高中同学)就发表了论文https://www.jindouyun.cn/document/industry/details/185270
10.明斯基去世:他是AI的父亲之一,也是神经网络的奠基人翻书党在书中,明斯基和佩普特证明单层神经网络不能解决XOR(异或)问题。异或是一个基本逻辑问题,如果这个问题都解决不了,那神经网络的计算能力实在有限。其实罗森布拉特也已猜到“感知机”可能存在限制,特别是在“符号处理”方面,并以他神经心理学家的经验指出,某些大脑受到伤害的人也不能处理符号。但“感知机”的缺陷被https://www.thepaper.cn/newsDetail_forward_1425747
11.科学网—[转载]一种基于深度神经网络的临床记录ICD自动编码方法通过简单的单层神经网络改变矩阵维度,以保证矩阵的第二维与标签向量的第二维一致: 其中, 为改变维度之后的矩阵, 为权重矩阵。接着,为每一个标签l生成注意力向量,并为每个编码生成注意力得分: 其中, 为标签l的向量表示,softmax为归一化指数函数, 为在标签为l的前提下文档表示矩阵中第i行的注意力得分, https://blog.sciencenet.cn/blog-3472670-1280973.html
12.评述:基于光学神经网络(ONN)的图像传感器技术资讯资讯信息为了解决这一问题,新一代的成像系统设计不再局限于单一的成像功能,而是加入了信息提取技术,例如:智能相机和压缩感知。ONN就是这一领域的研究前沿之一。目前,大多数ONN研究都只涉及线性光学操作,或者相当于单层神经网络,如果使用多层非线性神经网络,会有更好的表现。https://b2b.csoe.org.cn/news/show.php?itemid=170
13.终于有人总结了图神经网络!其中a采用了单层的前馈神经网络实现,计算过程如下(注意权重矩阵W对于所有的节点是共享的): 计算完attention之后,就可以得到某个节点聚合其邻居节点信息的新的表示,计算过程如下: 为了提高模型的拟合能力,还引入了多头的self-attention机制,即同时使用多个W^k计算self-attention,然后将计算的结果合并(连接或者求和): https://www.scholat.com/mTeamPostMsgPage-getDynamic.html?teammessageid=10103