上节课我们讲到了机器学习与深度学习的区别,以及关于深度学习不同的学习任务。相信大家都十分清楚“人工智能”与“机器学习""深度学习”的区别与定义了。
接下来第二期课程会深入剖析神经网络向前传播与反向传播的知识,首先要了解的是什么是神经网络呢?
下面展示的是一个最最简单的神经网络,只有两层:
(两层神经网络)
上面的图是“两层”,而不是三层或者四层,输入和输出不算层!
简单来说,深度学习就是通过多层神经网络上运用各种机器学习算法学习样本数据的内在规律和表示层次,从而实现各种任务的算法集合。
那么神经网络的“两个传播”是什么呢?
前向传播(ForwardPropagation)
向前传播就是从input,经过一层层的layer,不断计算每一层的z和a,最后得到输出y^的过程,计算出了y^,就可以根据它和真实值y的差别来计算损失(loss)。
反向传播(BackwardPropagation)
反向传播就是根据损失函数L(y^,y)来反方向地计算每一层的z、a、w、b的偏导数(梯度),从而更新参数。
每经过一次前向传播和反向传播之后,参数就更新一次,然后用新的参数再次循环上面的过程。这就是神经网络训练的整个过程。
那么前向传播到底是怎样实现的呢?如果用for循环一个样本一个样本的计算,显然太慢,看过我的前几个笔记的朋友应该知道,我们是使用Vectorization,把m个样本压缩成一个向量X来计算,同样的把z、a都进行向量化处理得到Z、A,这样就可以对m的样本同时进行表示和计算了。
是不是有点复杂呢,那就跟着净智老师一起继续打卡学习本期课程吧!相信课程里会解答您的疑惑哦!
(视频课程中“向前传播”为马来西亚翻译,“向前传播”即“前向传播”的意思)
本期课程:深入探索神经网络向前传播(一)
Skymind
智者见“智”AI科普系统课程上线
课程亮点
并且可以快速提升用户在认知与实践上的知识和技能,使其在学习和实战过程中深度挖掘并解决目前部署过程中遇到的难题。
每周五AM10:00
主办单位:
墨子沙龙&Skymind
课程摘要:
01
解密人工智能与深度学习
深度的运作方式
机器学习及学习任务
02
深入探索神经网络
利用前馈神经网络介绍神经网络运作及学习方法
向前传播(一)
向前传播(二)
反向传播(一)
反向传播(二)
03
深度学习让计算机看得见
介绍卷积神经网络结构(CNN)
深度学习在机器视觉的应用
04
如何给深度学习装上记忆机制
了解循环神经网络
介绍长短时记忆网络(LSTM)
长短时记忆网络的应用
讲师介绍:
罗净智
高级讲师
马来西亚理科大学硕士
Skymind高级深度学习工程师
Skymind深度学习商业培训课程高级讲师
其研究方向为机器视觉及感应器的信号处理,他在机器视觉及传感器领域内开发基于深度学习的应用程式,设计及利用机器视觉技术进行自动化的产品质量检查,曾开发过针对不同商业领域的应用。
惊喜福利
凡有关于深度学习就业与授课经验的小伙伴可以一起加入我们的讲师队伍,凡参与竞聘皆可送《深度学习基础与实践》一本,并有丰厚报酬等着您(详情可进群咨询工作人员)。
想要和更多志同道合的人一同探索深度学习的知识,获得与大牛共同交流AI行业知识的贴心服务,及时获取AI行业最新技术更新吗?扫描二维码|加入我们
关于“墨子沙龙”
墨子沙龙是由中国科学技术大学上海研究院主办、上海市浦东新区科学技术协会及中国科大新创校友基金会协办的公益性大型科普论坛。沙龙的科普对象为对科学有浓厚兴趣、热爱科普的普通民众,力图打造具有中学生学力便可以了解当下全球最尖端科学资讯的科普讲坛。