人工智能机器学习神经网络和深度学习的发展历程(下)模型学习算法神经网络发展

人工智能机器学习神经网络和深度学习发展史

Hello,这里是行上行下

我是隔壁壹脑云准时不拖更的袅袅~

一、前言

在介绍神经网络和深度学习起源之前,首先介绍一下人类大脑是怎么工作的。1981年的诺贝尔医学奖,分发给了DavidHubel、TorstenWiesel和PogerSperry。前两位的主要贡献是发现了人的视觉系统的信息处理是分级的。如下图所示,从视网膜(Retina)出发,经过低级的V1区提取边缘特征,到V2区形成基本形状或目标的局部,再到高层V4形成整个目标(如判定为一张人脸),以及到更高层的PFC(前额叶皮层)进行分类判断等。从视觉处理机制可以看出高层的特征是低层特征的组合,从低层到高层的特征表达越来越抽象和概念化。

这个发现激发了人们对于神经系统的进一步思考。大脑的工作过程是一个对接收信号不断迭代、不断抽象概念化的过程。例如,从原始信号摄入开始(瞳孔摄入像素),接着做初步处理(大脑皮层某些细胞发现边缘和方向),然后抽象(大脑判定眼前物体的形状,比如是椭圆形),然后进一步抽象(大脑进一步判定该物体是一张人脸),最后识别人脸。这个过程其实和我们的常识是相吻合的,因为复杂的图形往往就是由一些基本结构组合而成的。同时还可以看出:大脑是一个深度架构,认知过程也是深度的。

而深度学习,恰恰就是通过组合低层特征形成更加抽象的高层特征(或属性类别)。例如,在计算机视觉领域,深度学习算法从原始图像去学习得到一个低层次表达,例如边缘检测器、小波滤波器等,然后在这些低层次表达的基础上,通过线性或者非线性组合,来获得一个高层次的表达。此外,不仅图像存在这个规律,声音也是类似的。

二、起源阶段

1943年,心理学家麦卡洛克和数学逻辑学家皮兹发表论文《神经活动中内在思想的逻辑演算》,提出了MP模型。MP模型是模仿神经元的结构和工作原理,构成出的一个基于神经网络的数学模型,本质上是一种“模拟人类大脑”的神经元模型。MP模型作为人工神经网络的起源,开创了人工神经网络的新时代,也奠定了神经网络模型的基础。当时提出MP模型是希望能够用计算机来模拟人的神经元反应的过程,该模型将神经元的工作过程简化为了三部分:输入信号线性加权,求和,非线性激活(阈值法)。如下图所示:

1945年冯·诺依曼领导的设计小组试制成功存储程序式电子计算机,标志着电子计算机时代的开始。1948年,他在研究工作中比较了人脑结构与存储程序式计算机的根本区别,提出了以简单神经元构成的再生自动机网络结构。但是,指令存储式计算机技术的发展非常迅速,迫使他放弃了神经网络研究的新途径,继续投身于指令存储式计算机技术的研究,并在此领域作出了巨大贡献。虽然,冯·诺依曼的名字是与普通计算机联系在一起的,但他也是人工神经网络研究的先驱之一。

1949年,加拿大著名心理学家唐纳德·赫布在论文《Theorganizationofbehavior》中提出了神经心理学理论。赫布认为神经网络的学习过程最终是发生在神经元之间的突出部位,突触的连接强度随着突触前后神经元的活动而变化,变化的量与两个神经元的活性之和成正比。然后在《行为的组织》中提出了一种基础无监督学习的规则—赫布学习规则(HebbRule)。赫布规则模仿人类认知世界的过程建立一种“网络模型”,该网络模型针对训练集进行大量的训练并提取训练集的统计特征,然后按照样本的相似程度进行分类,把相互之间联系密切的样本分为一类,这样就把样本分成了若干类。赫布规则与“条件反射”机理一致,为以后的神经网络学习算法奠定了基础,具有重大的历史意义。

20世纪50年代末,在MP模型和赫布学习规则的研究基础上,美国科学家罗森布拉特发现了一种类似于人类学习过程的算法—感知机学习。并于1958年,正式提出了由两层神经元组成的神经网络,称之为感知器(Perceptron)。感知器本质上是一种线性模型,可以对输入的训练集数据进行二分类,且能够在训练集中自动更新权值。感知器的提出引起了大量科学家对人工神经网络研究的兴趣,对神经网络的发展具有里程碑式的意义。

在1969年,马文·明斯基和西蒙·派珀特共同编写了一本书籍《感知器》,在书中他们证明了单层感知器无法解决线性不可分问题(例如:异或问题)。由于这个致命的缺陷以及没有及时推广感知器到多层神经网络中,在20世纪70年代,人工神经网络进入了第一个寒冬期,人们对神经网络的研究也停滞了将近20年。

三、发展阶段

真理的果实总是垂青于能够坚持研究的科学家。尽管人工神经网络ANN的研究陷入了前所未有的低谷,但仍有为数不多的学者致力于ANN的研究。

1982年,著名物理学家约翰·霍普菲尔德发明了Hopfield神经网络。Hopfield神经网络是一种结合存储系统和二元系统的循环神经网络。Hopfield网络也可以模拟人类的记忆,根据激活函数的选取不同,有连续型和离散型两种,分别用于优化计算和联想记忆。但由于容易陷入局部最小值的缺陷,该算法并未在当时引起很大的轰动。

1984年,辛顿与年轻学者谢诺夫斯基等合作提出了大规模并行网络学习机,并明确提出隐藏单元的概念,这种学习机后来被称为玻尔兹曼机(Boltzmannmachine)。他们利用统计物理学的概念和方法,首次提出的多层网络的学习算法,称为玻尔兹曼机模型。

1991年BP算法被指出存在梯度消失问题,也就是说在误差梯度后向传递的过程中,后层梯度以乘性方式叠加到前层,由于Sigmoid函数的饱和特性,后层梯度本来就小,误差梯度传到前层时几乎为0,因此无法对前层进行有效的学习,该问题直接阻碍了深度学习的进一步发展。

此外90年代中期,支持向量机算法诞生(SVM算法)等各种浅层机器学习模型被提出,SVM也是一种有监督的学习模型,应用于模式识别,分类以及回归分析等。支持向量机以统计学为基础,和神经网络有明显的差异,支持向量机等算法的提出再次阻碍了深度学习的发展。

四、崛起阶段

2011年,ReLU激活函数被提出,该激活函数能够有效的抑制梯度消失问题。2011年以来,微软首次将DL应用在语音识别上,取得了重大突破。微软研究院和Google的语音识别研究人员先后采用深度神经网络DNN技术降低语音识别错误率至20%~30%,是语音识别领域十多年来最大的突破性进展。

2012年,DNN技术在图像识别领域取得惊人的效果,在ImageNet评测上将错误率从26%降低到15%。在这一年,DNN还被应用于制药公司的DrugeActivity预测问题,并获得世界最好成绩。2012年,在著名的ImageNet图像识别大赛中,杰弗里·辛顿课题组为了证明深度学习的潜力,首次参加ImageNet图像识别比赛,其通过构建的CNN网络AlexNet一举夺得冠军,且碾压第二名(SVM方法)的分类性能。也正是由于该比赛,CNN吸引到了众多研究者的注意。深度学习算法在世界大赛的脱颖而出,也再一次吸引了学术界和工业界对于深度学习领域的注意。

随着深度学习技术的不断进步以及数据处理能力的不断提升,2014年,Facebook基于深度学习技术的DeepFace项目,在人脸识别方面的准确率已经能达到97%以上,跟人类识别的准确率几乎没有差别。这样的结果也再一次证明了深度学习算法在图像识别方面的一骑绝尘。

2016年3月,由谷歌(Google)旗下DeepMind公司开发的AlphaGo(基于深度学习算法)与围棋世界冠军、职业九段棋手李世石进行围棋人机大战,以4比1的总比分获胜;2016年末2017年初,该程序在中国棋类网站上以“大师”(Master)为注册帐号与中日韩数十位围棋高手进行快棋对决,连续60局无一败绩。

参考资料:

1、百度百科,神经网络(通信定义)

阅读链接:

2、百度百科,深度学习(人工神经网络的研究的概念)

3、博客园,《深度学习的起源、发展和现状》

4、博客园,《人工智能、机器学习及深度学习的起源和发展》

5、程序员客栈,《深度学习的起源、发展和挑战总结》

6、CSDN,《人工神经网络简介》

7、腾讯云,《浅谈神经网络发展史:从莫克罗-彼特氏神经模型到深层神经网络》

8、搜狐,《CMU论文:一部深度学习发展史,看神经网络兴衰更替》

11、知乎,《神经网络发展历史》

作者:袅袅

校对:喵君姐姐、TingZhang

不感兴趣

看过了

取消

人点赞

人收藏

打赏

我有话说

0/500

同步到新浪微博

您的申请提交成功

您已认证成功,可享专属会员优惠,买1年送3个月!开通会员,资料、课程、直播、报告等海量内容免费看!

THE END
1.人工智能51CTO.COM算法 自然语言处理 语音识别 人脸识别 机器视觉 知识图谱 无人驾驶 机器人 开发 云计算 开源 大数据 网络 安全 全部话题 关注该话题的人还关注了 机器学习 2011内容 算法 1605内容 深度学习 1675内容 机器视觉 64内容 知识图谱 70内容 自然语言处理 109内容 机器人 914内容 人脸识别 460内容 我关注的话题 相关https://ai.51cto.com/
2.Hello算法腾讯云开发者社区今天给大家推荐一个网站:Hello 算法,网站内容质量极高,强烈推荐。 地址:https://www.hello-algo.com/ 这个网站提供一个动画图解、能运行、可讨论的数据结构与算法快速入门教程。 作者是 LeetCode 题解区大佬 Krahets,人称 K 神,力扣(LeetCode)全网阅读量最高博主。 https://cloud.tencent.com/developer/article/2207751?areaSource=102001.16&traceId=G3tKvwGhcBrWFYHDGFArd
3.Hello算法Hello 算法浏览人数已经达到81,如你需要查询该站的相关权重信息,可以点击"5118数据""爱站数据""Chinaz数据"进入;以目前的网站数据参考,建议大家请以爱站数据为准,更多网站价值评估因素如:Hello 算法的访问速度、搜索引擎收录以及索引量、用户体验等;当然要评估一个站的价值,最主要还是需要根据您自身的需求以及需要,一https://openi.cn/sites/282705.html
4.初识算法宝藏网站有没有hello算法这样的网站前有<<啊哈,算法>>,后有<<hello,算法>>,对于算法初学者真的是救星,里面的数据结构与算法的讲解针对是图文结合,还有清楚的动画图解,提供的多种语言的代码,包括C++,Java,python,GO,Swift等等等等,而且还有K神大佬参与补充更多语言的算法代码。我真的,快学起来?https://blog.csdn.net/LINcc18/article/details/133825484
5.Hello算法(C++版)《 Hello 算法 》 动画图解、一键运行的数据结构与算法教程 全书动画图解 内容清晰易懂、学习曲线平滑 电脑、平板、手机全终端阅读 代码一键运行 提供各个算法与数据结构的简洁实现与测试样例,皆可直接运行 支持Java, C++, Python, Go, JS, TS, C#, Swift, Zig 等语言教程https://m.w3cschool.cn/hellocpp/
6.Hello算法Hello算法致力于让数据结构与算法的学习变得简单和有趣。无论你是初学者还是有一定经验的开发者,我们都为你准备了丰富的资源,帮助你掌握关键的编程基础。 网站特色内容包括: 通俗易懂的解释:以简单易懂的语言讲解复杂的数据结构与算法概念,让你轻松理解每一个知识点。 https://www.jspoo.com/wz/4792.html
7.Hello算法Hello 算法浏览人数已经达到768,如你需要查询该站的相关权重信息,可以点击"5118数据""爱站数据""Chinaz数据"进入;以目前的网站数据参考,建议大家请以爱站数据为准,更多网站价值评估因素如:Hello 算法的访问速度、搜索引擎收录以及索引量、用户体验等;当然要评估一个站的价值,最主要还是需要根据您自身的需求以及需要,https://www.codernav.com/sites/2902.html
8.Hello算法Hello 算法 纸质书已发布,详情请见这里 Hello 算法 Hello 算法 简体中文 繁體中文 English 键入以开始搜索 krahets/hello-algo 1.2.0 103k 12.9k Hello 算法? 动画图解、一键运行的数据结构与算法教程。http://www.xiaorabbit.cn/
9.Hello算法《Hello 算法》:动画图解、一键运行的数据结构与算法教程,支持 Java, C++, Python, Go, JS, TS, C#, Swift, Rust, Dart, Zig 等语言。 Hello 算法 1.0.0b6 Latest 该版本为《Hello 算法》1.0.0 版的预发布 b6 版本。 现已支持 Python, C++, Java, C#, Go, Swift, JavaScrihttps://www.bandianxiang.com/info/ZluNetf
10.电子书Hello算法Github仓库:github.c来自蚁工厂电子书《Hello 算法》 Github仓库:github.com/krahets/hello-algo 这是一本动画图解、能运行、可提问的数据结构与算法快速入门教程 “如果我当年学数据结构与算法的时候有《Hello 算法》,学起来应该会简单 10 倍https://weibo.com/2194035935/MFfIPaoGX
11.Hello算法V1.1.0PDF下载一定要收藏这个宝藏网站防止丢失,求助资源~!!! 内容简介 Hello 算法 1.1.0 版本电子书包含了下列语言 Python、C++、Java、C#、Go、Swift、JavaScript、TypeScript、Dart、Rust、C 和 Kotlin 等语言,感兴趣的同学可以学习。 相关截图 下载地址 重要提示!一旦取消关注公众号后将无法再启用回复功能,不支持解封!https://cmsblogs.cn/?p=5154
12.全网最全程序员学习网站汇总,还不赶快收藏简介:经典的刷题网站,主要是算法题。 推荐指数:? 2、LintCode 地址: LintCode 简介:和LeetCode相似 推荐指数: 3、牛客网 地址: 牛客网 简介:一个联网求职学习交流社区。 推荐指数: 最后 我目前从事Java开发,给各位Java程序员推荐一下干货知识点和聚集地。在学https://www.songma.com/news/txtlist_i66992v.html
13.helloalgo,一个免费的算法学习开源项目在线学习的网站链接为:https://www.hello-algo.com/ 同时,项目提供了下载的pdf,地址为:https://github.com/krahets/hello-algo/releases。 如果有朋友无法前往下载,也可以在本公众号回复消息【算法】关键字进行下载。 内容介绍 我们从书中的内容来看 https://developer.aliyun.com/article/1437987
14.Hello!GitHub好用好玩值得收藏的开源项目集合~ ?awesome-leetcode(各大 IT 公司的算法面试题) GitHub地址:http://github.com/Blankj/awesome-java-leetcode LeetCode of algorithms with java solution(updating). ?BrowserQuest(JavaScript多人在线游戏) GitHub地址:http://github.com/mozilla/BrowserQuest https://maimai.cn/article/detail?fid=1475370684&efid=VfsByAn5y7pBiausQZV-1A
15.信息学奥赛一本通:题解目录OJ网站:点击这里【语言及算法基础篇】第一部分:C++语言第一章:C++语言入门 Hello,World!(信息学奥赛一本通-T1001):点击这里输出第二个整数(信息学奥赛一本通-T1002):点击这里对齐输出(信息学奥赛一本通-T1003):点击这里字符三角形(信息学奥赛一本通-T1004):点击这里地球人口承载力估计(信息学奥赛一本通-T100http://xinao.ainoob.cn/article/738
16.Hello算法数据结构与算法入门教程《Hello 算法》是一本面向数据结构与算法初学者的开源、免费电子书,由靳宇栋(Krahets)编写并发布在GitHub上。这本书通过动画图解和一键运行的方式,使读者能够更直观地理解复杂的概念,并且支持多种编程语言,包括Python、Java、C++、C#等。 Hello 算法官网网址:https://www.hello-algo.com/ https://www.bgrdh.com/sites/31811.html
17.《Hello算法》《Hello 算法》是一本开源免费的数据结构与算法入门教程。该项目采用动画图解和一键运行的方式,引导初学者探索数据结构与算法的知识地图。 主要功能点 采用动画图解的方式,内容清晰易懂、学习曲线平滑 源代码可一键运行,帮助读者在练习中提升编程技能 支持多种编程语言,包括 Python、Java、C++、Go 等 https://www.clzg.cn/article/641727.html
18.分享《Hello算法》正式版发布!《Hello 算法》正式版终于发布了! 快来戳戳! ? 动画图解、一键运行的数据结构与算法教程 代码仓库>在线阅读>下载 PDF> 关于本书 本项目旨在创建一本开源、免费、对新手友好的数据结构与算法入门教程。 全书采用动画图解,结构化地讲解数据结构与算法知识,内容清晰易懂,学习曲线平滑。 https://leetcode-cn.com/circle/discuss/PFqqKj
19.6.3哈希算法观察以上公式,当哈希表容量capacity固定时,哈希算法hash()决定了输出值,进而决定了键值对在哈希表中的分布情况。 这意味着,为了降低哈希冲突的发生概率,我们应当将注意力集中在哈希算法hash()的设计上。 6.3.1 哈希算法的目标? 为了实现“既快又稳”的哈希表数据结构,哈希算法应具备以下特点。 http://ok200.cc/chapter_hashing/hash_algorithm/
20.ReleaseHello算法1.1.0·krahets/hello《Hello 算法》1.1.0 版本的 PDF 电子书请见附件,支持 Python、C++、Java、C#、Go、Swift、JavaScript、TypeScript、Dart、Rust、C 和 Kotlin 等语言。 主要改动 新增小节:纸质书、序,重写小节:术语表。 新增繁体中文版(由@Shyam-Chen、@Dr-XYZ审阅)。 https://github.com/krahets/hello-algo/releases/tag/1.1.0
21.Hello算法(C++语言版)中文PDF电子书下载《Hello算法 (C++语言版)》旨在创建一本开源免费、新手友好的数据结构与算法入门教程。书中内容主要包括复杂度分析、数据结构、算法三部分,涵盖了该领域的大部分主题。 若您是算法初学者,从未接触过算法,或者已经有一些刷题经验,对数据结构与算法有模糊的认识,在会与不会之间反复横跳,那么这本书正是为您量身定制https://www.jb51.net/books/907953.html
22.Hello,密码学:第三部分,公钥密码(非对称密码)算法在《Hello,密码学:第二部分,对称密码算法》中讲述了对称密码的概念,以及DES和AES两种经典的对称密码算法原理。既然有对称密码的说法,自然也就有非对称密码,也叫做公钥密码算法。对称密码和非对称密码两种算法的本质区别在于,加密密钥和解密密钥是否相同: 对称密码的加解密密钥相同,用密钥A加密,也用密钥B解密。 https://www.jianshu.com/p/0b48bef65504
23.《HelloGitHub月刊》第81期HelloGitHub 分享 GitHub 上有趣、入门级的开源项目,每月28 号更新一期。这里有好玩和入门级的开源项目、开源书籍、实战项目、企业级项目,让你用极短的时间感受到开源的魅力,对开源产生兴趣。 C 项目 1、 ecapture Star 1.4w Fork 1.4k 2 年前 详情 一款无需 CA 证书即可抓取 HTTPS 明文的工具。该项目基于 https://hellogithub.com/periodical/volume/81
24.#算法#数据结构与算法教程https://www.helloalgo.com#算法#数据结构与算法教程 https://www.hello-algo.com/ 全部评论 推荐 最新 楼层 相关推荐 昨天13:50 北京科技大学 系统策划 昨日牛马感言 牛马感言: 这个打工的世界真的很癫。 昨天上午领导把我叫过去,问我19号做的方案有没有做好,有没有和合作方去谈,谈成了没有? 我一脸懵逼,说https://m.nowcoder.com/feed/main/detail/e1413946a6e241ee8b5b549104260cfa
25.Claude3成功破解未公开算法?智商测试101分超越人类/碾压GPT网友测试Claude之后惊呼:实测比跑分厉害多了!智商测试中碾压GPT-4,得分高达101。而且能发现量子物理学家还未发表的量子算法。 Claude 3上线之后,网友开始疯狂测试,实测效果确实惊人。 不少网友体感Claude 3超大杯确实强,实测已经达到了博士水平: 这实在太疯狂了!Claude是唯一理解我的量子物理学博士论文的「人」! https://36kr.com/p/2677606361200131