三位深度学习之父共摘“计算机界的诺贝尔奖”

原标题:图灵奖后,深度学习呼唤深度理解

深度学习领域三位先驱——约书亚·本吉奥、杰弗里·辛顿和雅恩·勒昆荣获2018年图灵奖。

图灵奖素有“计算机界的诺贝尔奖”之称,三位获奖者也都是人工智能领域大名鼎鼎的科学家。本吉奥是蒙特利尔大学教授,辛顿是谷歌公司副总裁、多伦多大学名誉教授,勒昆是纽约大学教授、脸书公司首席人工智能科学家。

“人工智能目前是所有科学领域中发展最快的学科之一,也是当今社会最为热议的话题之一。”美国计算机学会主席切里·潘凯克说,这很大程度上归功于深度学习领域近年来取得显著进展,而这一领域的基础是由本吉奥、辛顿和勒昆奠定的。

将单层神经网络拓展成多层

要解释三位科学家的贡献,首先得说说人工神经网络。

所谓人工神经网络,是指模仿人的神经机制,在计算机中模拟出一层或多层被称为“神经元”的计算单元,使它们之间通过加权连接而互相影响。通过改变这些节点的加权值,可以改变人工神经网络的计算性能。

本吉奥、辛顿和勒昆认识到通过搭建多层神经元,形成比较“深”的人工神经网络的重要性,这正是“深度学习”一词的由来之一。

“三位获奖者确实可称为深度学习领域的奠基人。”中科院自动化所模式识别国家重点实验室研究员宗成庆接受科技日报记者采访时说,早期实现的神经网络是单层的,他们把单层神经网络拓展成多层并付诸应用,在图像识别、语音识别和机器翻译等很多任务上都取得了不错的效果。

“通过大大提高计算机理解世界的能力,深度神经网络不仅在改变计算机领域,也在改变科学和人类行为所涉及的每一个领域。”谷歌高级副总裁杰夫·迪恩说。

从不被认可坚持到产业爆发

上世纪80年代,科学家开始使用人工神经网络模型帮助计算机完成模式识别任务,并模拟人脑的智能。辛顿、本吉奥和勒昆一直把这种思路坚持到本世纪,尽管起初他们的想法不被认可。

“计算机科学界已认识到这种方法并不离奇,这是好事。”辛顿在接受英国广播公司(BBC)采访时说,多年来大家都觉得人工神经网络不值一提。

辛顿自上世纪80年代早期就开始倡导机器学习方法,他和其他科学家提出将“人工神经网络”作为机器学习研究的基石。现在,深度学习已在人工智能领域被普遍采纳。

“很大一部分原因是计算机性能有了根本性提高。”宗成庆告诉科技日报记者,上世纪八九十年代人工智能出现一波热潮,但当时计算机的存储容量、计算能力都十分有限,只能计算单层神经网络。如今计算机性能大大提升,再加上有海量数据支撑,在多层神经网络中训练大规模数据得以快速实现。

深度学习仍待更大突破

“深度学习技术目前在计算机领域的应用非常普遍。从应用角度看,这种方法确实可使很多任务的处理取得最优结果。”宗成庆说。

但在宗成庆看来,已得到广泛采用的深度学习技术未来仍需更大突破。

抛开其进展不谈,现阶段深度学习技术还无法让计算机像人一样去深度理解语言、语音和图像。比如,智能手机助手看起来口齿伶俐,却并未真正理解我们的话。假如对它说“臭豆腐真香啊”,它的答复会莫名其妙,或者给出怎么理解都不错的答案。

宗成庆认为,以自然语言理解为例,下一步的方向是让机器在语义、概念上进行推理和计算,而不仅停留在对信号层面的处理。这就涉及很多神经科学、认知科学和计算科学结合的问题。

与此同时,人工神经网络依然是个“黑箱子”,可解释性比较差。让它将英文翻译成中文,如果出现错误,是哪个环节导致错误依然难以解释。处理特定任务究竟需要几层神经网络才能实现最佳,也没有合理解释,只能依靠经验和实验大量地测试。

THE END
1.利用Python进行深度神经网络的增量学习和在线学习增量学习python增量学习是一种在训练过程中动态调整模型参数的方法,可以在不重新训练整个网络的情况下,对模型进行微调。在线学习则是在网络训练过程中,边处理边学习,无需等待完整训练结果即可获取有用的信息。本文将分别探讨如何利用Python实现深度神经网络的增量学习和在线学习,以提高模型的训练效率和实用性。https://blog.csdn.net/fufulove/article/details/142425411
2.在线深度学习mob64ca12d6c78e的技术博客在这个代码示例中,我们首先利用make_classification生成样本数据,然后构建了一个简单的神经网络并进行了初始训练。与传统的训练模式不同,我们在最后通过简单地调用model.fit()方法更新模型,模拟了在线学习的过程。 甘特图和类图 为了更好地理解在线深度学习的过程,可以用甘特图展示不同阶段的任务安排,以下是一个简单的甘特https://blog.51cto.com/u_16213326/11689672
3.神经网络与深度学习西安科技大学机器学习是人工智能领域中目前最活跃的一个分支,神经网络是机器学习中的一种方法,深度学习又是在神经网络的基础上发展起来的。在最近数年中,计算机视觉、语音识别、自然语言处理、和机器人等领域所取得的惊人的进展,都离不开深度学习,它是这一轮人工智能热潮的核心驱动力量,已经成为人工智能领域最重要的技术之一。https://www.icourse163.org/course/XUST-1206363802
4.深度学习框架PyTorch使用指南:神经网络模型训练与部署完整教程是一个开源的深度学习框架,它为Python提供了强大的计算能力,同时提供了灵活的神经网络构建和训练接口。 的特点 以动态计算图为基础,具有灵活的张量计算和自动微分功能,深受研究人员和工程师的青睐。 二、神经网络模型训练 神经网络建模 通过PyTorch可以轻松地构建各种类型的神经网络模型,包括卷积神经网络、循环神经网络等https://www.jianshu.com/p/45aa62e76791
5.《深入浅出神经网络与深度学习》([澳]迈克尔·尼尔森(Michael当当网图书频道在线销售正版《深入浅出神经网络与深度学习》,作者:[澳] 迈克尔·尼尔森(Michael Nielsen),出版社:人民邮电出版社。最新《深入浅出神经网络与深度学习》简介、书评、试读、价格、图片等相关信息,尽在DangDang.com,网购《深入浅出神经网络与深度学习》http://product.dangdang.com/29115323.html
6.深度学习无水印中文版.pdf想预览更多内容,点击免费在线预览全文 免费在线预览全文 深度学习 年 月 日 目录 致谢 网站 数学符号 第一章 引言 本书面向的读者 深度学习的历史趋势 神经网络的众多名称和命运变迁 与日俱增的数据量 与日俱增的模型规模 与日俱增的精度、复杂度和对现实世界的冲击 第一部分 应用数学与机器学习基础 第二章https://max.book118.com/html/2019/0421/6231210003002024.shtm
7.深度学习基础一步一步讲解卷积神经网络卷积神经网络(Convolutional Neural Networks, CNN)是一类包含卷积计算且具有深度结构的前馈神经网络(Feedforward Neural Networks),是深度学习(deep learning)的代表算法之一。 本文来源于吴恩达老师的深度学习课程[1]笔记部分。作者:黄海广[2]备注:笔记和作业(含数据、原始作业文件)、视频都在github[3]中下载。 https://cloud.tencent.com/developer/article/1752426
8.什么是深度学习?MicrosoftAzure了解深度学习的定义、深度学习的用途及其工作原理。获取有关神经网络和 BERT NLP 的工作原理及其优点的信息。https://azure.microsoft.com/zh-cn/overview/what-is-deep-learning
9.机器学习深度学习和神经网络之间的区别和联系python深度学习是机器学习的一个子领域,专注于多层神经网络(或深度神经网络)。深度神经网络可以从大量数据中学习,并可以自动发现数据的复杂特征和表示。这使得它们非常适合涉及大量数据的任务。 深度学习架构包括: 深度神经网络:在输入和输出层之间具有多层的神经网络。 https://www.jb51.net/python/316268muf.htm
10.面向深度学习的联合消息传递与自编码器一方面,在动态环境中,自编码器收发机对自身进行累加、增强以及重训练的成本过高;另一方面,进行累加、增强和重训练的整个过程本身也违反了深度神经网络的“Once-for-All”策略——即一次学习、长期有效,进而无法很好地满足现实需要和能耗要求。 这三个问题的本质可以归结为同一个核心问题,即面临无线信道的随机变化时,https://www.huawei.com/cn/huaweitech/future-technologies/joint-message-passing-autoencoder-deep-learning
11.深度学习与神经网络有什么区别?深度学习和神经网络是人工智能领域中的两个重要概念,它们在很多方面有着相似之处,但也存在一些区别。本文将从定义、结构、应用等方面来探讨深度学习与神经网络的区别。 定义 深度学习是一种基于人工神经网络的机器学习算法,在大量数据上训练多层神经网络模型,实现对复杂问题的高效处理。而神经网络则是一种模拟生物神经系https://www.cda.cn/bigdata/201326.html
12.深度学习入门教程神经网络概述(上)[1] 神经网络概述(上) 2054播放 待播放 [2] 神经网络概述(下) 1346播放 05:42 [3] 神经网络发展史(上) 1540播放 05:48 [4] 神经网络发展史(下) 912播放 05:51 [5] 从0到1-单层感知器(上) 1319播放 09:26 [6] 从0到1-单层感知器(下) https://open.163.com/newview/movie/free?pid=CHHGR9V4D&mid=KHHGRADKT
13.AI深度强化学习落地方法七步曲2——状态空间篇回报函数篇近年来学术界有个趋势,希望通过深度神经网络自动学习reward函数,从而代替手工设计。其中一篇比较有代表性的工作[1],在传统Actor-Critic框架的基础上,又增加了一个Reward网络,输入当前的状(state)和动作(action),输出这一步的reward值。Actor和Critic网络都依据最新的reward网络输出进行优化,而reward网络则依据人类(supervihttps://www.shangyexinzhi.com/article/4228946.html
14.NeuralnetworksanddeeplearningNeural networks, a beautiful biologically-inspired programming paradigm which enables a computer to learn from observational data Deep learning, a powerful set of techniques for learning in neural networks Neural networks and deep learning currently provide the best solutions to many problems in image rehttp://neuralnetworksanddeeplearning.com/
15.深度学习深度学习(DeepLearning),是机器学习的分支,是指使用多层的神经网络进行机器学习的一种手法,它学习样本数据的内在规律和表示层次,最终目标是让机器能够像人一样具有分析学习能力,能够识别文字、图像和声音等数据。深度学习中的深度指的是神经网络的层数。深度一般超过https://glopedia.cn/59671/
16.深度学习从基础前馈神经网络到深度生成模型,从数学模型到最佳实践,这本书覆盖了深度学习的各个方面。《深度学习》是当下最适合的入门书籍,强烈推荐给此领域的研究者和从业人员。 ——亚马逊主任科学家、Apache MXNet发起人之一李沐 出自三位深度学习最前沿权威学者的教科书一定要在案前放一本。本书的第二部分是精华,对深度https://www.epubit.com/bookDetails?id=N8263
17.深度学习入门:基于Python的理论与实现本书是深度学习真正意义上的入门书,深入浅出地剖析了深度学习的原理和相关技术。书中使用Python3,尽量不依赖外部库或工具,从基本的数学知识出发,带领读者从零创建一个经典的深度学习网络,使读者在此过程中逐步理解深度学习。书中不仅介绍了深度学习和神经网络的概念、特征等基础知识,对误差反向传播法、卷积神经网络等https://www.ituring.com.cn/book/1921
18.DeepLearningSpecialization(DeepLearning.AI)Coursera深度学习专业为您提供了一条通往人工智能世界的道路,帮助您获得提升职业生涯水平的知识和技能。在学习过程中,您还将获得来自行业和学术界深度学习专家的职业建议。 应用的学习项目 学习结束后,您将能够 - 构建和训练深度神经网络,实现矢量化神经网络,确定架构参数,并将 DL 应用于您的应用程序 - 使用最佳实践来训练https://www.coursera.org/specializations/deep-learning