第十三节,卷积神经网络之经典网络LeNet5AlexNetVGG16ResNet(三)(后面附有一些网络英文翻译文章链接)大奥特曼打小怪兽

上一节我们介绍了卷积神经网络的基本构建,比如卷积层、池化层以及全连接层这些组件。事实上,过去几年计算机视觉研究中的大量研究都集中在如何把这些基本构件组合起来,形成有效的卷积神经网络。最直观的方式之一就是去看一些案例,就像很多人通过看别人的代码来学习编程一样,通过研究别人构建有效组件的案例是个不错的办法。实际上在计算机视觉任务中表现良好的神经网络框架往往也适用于其它任务,也许你的任务也不例外。也就是说,如果有人已经训练或者计算出擅长识别猫、狗、人的神经网络或者神经网络框架,而你的计算机视觉识别任务是构建一个自动驾驶汽车,你完全可以借鉴别人的神经网络框架来解决自己的问题。

首先我们来看几个经典的网络。

LeNet-5网络,应该是1980年代的,经常被引用的AlexNet,还有VGG网络。这些都是非常有效的神经网络范例,当中的一些思路为现代计算机视觉技术的发展奠定了基础。论文中的这些想法可能对你大有裨益,对你的工作也可能有所帮助。

然后是ResNet,又称残差网络。神经网络正在不断加深,对此你可能有所了解。ResNet神经网络训练了一个深达152层的神经网络,并且在如何有效训练方面,总结出了一些有趣的想法和窍门。

首先看看LeNet-5的网络结构,假设你有一张32×32×1的图片,LeNet-5可以识别图中的手写数字,比如像这样手写数字7。

我们还可以在这里再加一个节点用来预测y_hat的值,y_hat有是个可能的值,对应识别0-9这10个数字。在现在的版本中则使用softmax函数输出十种分类结果,而在当时,LeNet-5网络在输出层使用了另外一种tanh函数,现在已经很少用到的分类器。相比现代版本,这里得到的神经网络会小一些,只有约6万个参数。而现在,我们经常看到含有一千万到一亿个参数的神经网络,比这大1000倍的神经网络也不在少数。不管怎样,如果我们从左往右看,随着网络越来越深,图像的高度和宽度在缩小,从最初的32×32缩小到28×28,再到14×14、10×10,最后只有5×5。与此同时,随着网络层次的加深,通道数量一直在增加,从1增加到6个,再到16个。

这个神经网络中还有一种模式至今仍然经常用到,就是一个或多个卷积层后面跟着一个池化层,然后又是若干个卷积层再接一个池化层,然后是全连接层,最后是输出,这种排列方式很常用。

读到这篇经典论文时,你会发现,过去,人们使用sigmod函数和tanh函数,而不是ReLu函数,这篇论文中使用的正是sigmod函数和tanh函数。这种网络结构的特别之处还在于,各网络层之间是有关联的,这在今天看来显得很有趣。

实际上,这种神经网络与LeNet有很多相似之处,不过AlexNet要大得多。正如前面讲到的LeNet或LeNet-5大约有6万个参数,而AlexNet包含约6000万个参数。当用于训练图像和数据集时,AlexNet能够处理非常相似的基本构造模块,这些模块往往包含着大量的隐藏单元或数据,这一点AlexNet表现出色。AlexNet比LeNet表现更为出色的另一个原因是使用了ReLu激活函数。

VGG-16网络没有那么多超参数,这是一种只需要专注于构建卷积层的简单网络。首先用3×3,步幅为1的过滤器构建卷积层,padding参数为same卷积中的参数。然后用一个2×2,步幅为2的过滤器构建最大池化层。因此VGG网络的一大优点是它确实简化了神经网络结构,下面我们具体讲讲这种网络结构。

假设要识别这个图像,在最开始的两层用64个3×3的过滤器对输入图像进行卷积,输出结果是224×224×64,因为使用了same卷积,通道数量也一样。VGG-16其实是一个很深的网络,这里并没有把所有卷积层都画出来。

顺便说一下,VGG-16的这个数字16,就是指在这个网络中包含16个卷积层和全连接层。确实是个很大的网络,总共包含约1.38亿个参数,即便以现在的标准来看都算是非常大的网络。但VGG-16的结构并不复杂,这点非常吸引人,而且这种网络结构很规整,都是几个卷积层后面跟着可以压缩图像大小的池化层,池化层缩小图像的高度和宽度。同时,卷积层的过滤器数量变化存在一定的规律,由64翻倍变成128,再到256和512。作者可能认为512已经足够大了,所以后面的层就不再翻倍了。无论如何,每一步都进行翻倍,或者说在每一组卷积层进行过滤器翻倍操作,正是设计此种网络结构的另一个简单原则。这种相对一致的网络结构对研究者很有吸引力,而它的主要缺点是需要训练的特征数量非常巨大。

从这个角度来看,这篇论文很吸引人。以上就是三种经典的网络结构,如果你对这些论文感兴趣,我建议从介绍AlexNet的论文开始,然后就是VGG的论文,最后是LeNet的论文。虽然有些晦涩难懂,但对于了解这些网络结构很有帮助。

非常非常深的神经网络是很难训练的,因为存在梯度消失和梯度爆炸问题。这节我们讲解跳跃连接(Skipconnection),它可以从某一层网络层获取激活,然后迅速反馈给另外一层,甚至是神经网络的更深层。我们可以利用跳跃连接构建能够训练深度网络的ResNets,有时深度能够超过100层。

ResNets是由残差块(Residualblock)构建的,首先我解释一下什么是残差块。

这是一个两层神经网络,在l层进行激活,得到al+1,再次进行激活,两层之后得到al+2,计算过程是从al开始,首先进行线性激活,根据这个公式:zl+1=wl+1al+bl+1,然后通过ReLU非线性激活函数得到al+1,al+1=g(zl+1)计算得出。接着再次进行线性激活,依据等式zl+2=wl+2al+1+bl+2,最后根据这个等式再次进行ReLu非线性激活,al+2=g(zl+2)。

在残差网络中有一点变化,我们将al直接向后,拷贝到神经网络的深层,在ReLU非线性激活函数前加上al,这是一条捷径。al的信息直接到达神经网络的深层,不再沿着主路径传递,这就意味着最后这个等式al+2=g(zl+2)去掉了,取而代之的是另一个ReLU非线性函数,仍然对zl+2进行g函数处理,但这次要加上al,即:al+2=g(zl+2+al)。也就是加上的这个al产生了一个残差块。

在上面这个图中,我们画一条捷径,直达第二层。实际上这条捷径是在进行ReLU非线性激活函数之前加上的,而这里的每一个节点都执行了线性函数和ReLU激活函数。所以al插入的时机是在线性激活之后,ReLU激活之前。除了捷径,你还会听到另一个术语“跳跃连接”,就是指al跳过一层或者好几层,从而将信息传递到神·经网络的更深层。ResNet的发明者是何凯明(KaimingHe)、张翔宇(XiangyuZhang)、任少卿(ShaoqingRen)和孙剑(JiangxiSun),他们发现使用残差块能够训练更深的神经网络。所以构建一个ResNet网络就是通过将很多这样的残差块堆积在一起,形成一个很深神经网络,我们来看看这个网络。

这并不是一个残差网络,而是一个普通网络(Plainnetwork),这个术语来自ResNet论文。把它变成ResNet的方法是加上所有跳跃连接,正如之前看到的,每两层增加一个捷径,构成一个残差块。如图所示,5个残差块连接在一起构成一个残差网络。

但有了ResNets就不一样了,即使网络再深,训练的表现却不错,比如说训练误差减少,就算是训练深达100层的网络也不例外。有人甚至在1000多层的神经网络中做过实验,尽管目前我还没有看到太多实际应用。但是对x的激活,或者这些中间的激活能够到达网络的更深层。这种方式确实有助于解决梯度消失和梯度爆炸问题,让我们在训练更深网络的同时,又能保证良好的性能。也许从另外一个角度来看,随着网络越来深,网络连接会变得臃肿,但是ResNet确实在训练深度网络方面非常有效。残差网络为什么有用?

为什么ResNets能有如此好的表现,我们来看个例子,它解释了其中的原因,至少可以说明,如何构建更深层次的ResNets网络的同时还不降低它们在训练集上的效率。通常来讲,网络在训练集上表现好,才能在Hold-Out交叉验证集或dev集和测试集上有好的表现,所以至少在训练集上训练好ResNets是第一步。

先来看个例子,一个网络深度越深,它在训练集上训练的效率就会有所减弱,这也是有时候我们不希望加深网络的原因。而事实并非如此,至少在训练ResNets网络时,并非完全如此,举个例子。

假设有一个大型神经网络,其输入为x,输出激活值al,假如你想增加这个神经网络的深度,那么用BigNN表示,输出为al,再给这个网络额外添加两层,依次添加两层,最后输出为al+2,可以把这两层看作一个ResNets块,即具有捷径连接的残差块。为了方便说明,假设我们在整个网络中使用ReLU激活函数,所以激活值都大于等于0,包括输入x的非零异常值。因为ReLU激活函数输出的数字要么是0,要么是正数。

结果表明,残差块学习这个恒等式函数并不难,跳跃连接使我们很容易得出al+2=al,这意味着,即使给神经网络增加了这两层,它的效率也并不逊色于更简单的神经网络,因为学习恒等函数对它来说很简单。尽管它多了两层,也只把al的值赋值给了al+2。所以给大型神经网络增加两层,不论是把残差块添加到神经网络的中间还是末端位置,都不会影响网络的表现。当然,我们的目标不仅仅是保持网络的效率,还要提升它的效率。想象一下,如果这些隐藏层单元学到一些有用信息,那么它可能比学习恒等函数表现得更好。而这些不含有残差块或跳跃连接的深度普通网络情况就不一样了,当网络不断加深时,就算是选用学习恒等函数的参数都很困难,所以很多层最后的表现不但没有更好,反而更糟。我认为残差网络起作用的主要原因就是这些残差块学习恒等函数非常容易,你能确定网络性能不会受到影响,很多时候甚至可以提高效率,或者说至少不会降低网络的效率,因此创建类似残差网络可以提升网络性能。

除此之外,关于残差网络,另一个值得探讨的细节是,假设zl+2与al具有相同维度,所以ResNets使用了许多same卷积,所以这个al的维度等于这个输出层的维度。之所以能实现跳跃连接是因为same卷积保留了维度,所以很容易得出这个捷径连接,并输出这两个相同维度的向量。如果输入和输出有不同维度,比如输入的维度是128,al+2的维度是256,再增加一个矩阵,这里标记为Ws,Ws是一个256x128维度的矩阵,所以Wsal的维度是256。这个新增项是256维度的向量。你不需要对Ws做任何操作,它是网络通过学习得到的矩阵或参数,它是一个固定矩阵,padding值为0,用0填充al,其维度为256,所以者几个表达式都可以。

最后,我们来看看ResNets的图片识别。这些图片是我从何凯明等人论文中截取的,这是一个普通网络,我们给它输入一张图片,它有多个卷积层,最后输出了一个Softmax。

如何把它转化为ResNets呢?只需要添加跳跃连接。这里我们只讨论几个细节,这个网络有很多层3×3卷积,而且它们大多都是same卷积,因为它们是same卷积,维度得以保留,这也解释了添加项zl+2+al(维度相同所以能相加)。

ResNets类似于其它很多网络,也会有很多卷积层,其中偶尔会有池化层或类池化层的层。不论这些层是什么类型,你都需要调整矩阵Ws的维度。普通网络和ResNets网络常用的结构是:卷积层-卷积层-卷积层-池化层-卷积层-卷积层-卷积层-池化层……依此重复。直到最后,有一个通过softmax进行预测的全连接层。

THE END
1.喜欢的英文喜欢翻译喜欢英语怎么说海词词典,最权威的学习词典,专业出版喜欢的英文,喜欢翻译,喜欢英语怎么说等详细讲解。海词词典:学习变容易,记忆很深刻。http://dict.cn/%E5%96%9C%E6%AC%A2
2.喜欢的英语单词怎么写翻译结果: '喜欢'的英文翻译是'like'。 应用场景: 'like'是一个常用词,在表达个人喜好、兴趣或者对某事物的偏爱时经常使用。 造句例句: 中文:我非常喜欢这个电影。英文:I really like this movie. 中文:孩子们喜欢去公园玩。英文:Children like to play in the park. 中文:https://localsite.baidu.com/site/wjzsorv8/8cd47d9a-7797-42f3-9306-b902ded71161?qaId=1213085&categoryLv1=%E6%95%99%E8%82%B2%E5%9F%B9%E8%AE%AD&efs=2&ch=54&srcid=10014&source=natural&category=%E8%8B%B1%E8%AF%AD&eduFrom=136&botSourceType=46
3.我比较喜欢英语的翻译是:IpreferEnglish中文翻译英文意思我比较喜欢英语 青云英语翻译 请在下面的文本框内输入文字,然后点击开始翻译按钮进行翻译,如果您看不到结果,请重新翻译! 翻译结果1翻译结果2翻译结果3翻译结果4翻译结果5 翻译结果1复制译文编辑译文朗读译文返回顶部 I prefer English 翻译结果2复制译文编辑译文朗读译文返回顶部http://wuerduyu.zaixian-fanyi.com/fan_yi_446656
4.我喜欢她翻译成英语怎么说翻译成英语中文我喜欢她 英语 翻译I like her 重要词汇 词汇 说明 记忆技巧 I 高考,CET4,考研,GMAT like 高考,CET4,考研 her 高考,CET4,考研我喜欢她相关的英语/英文短语 她是我喜欢的动漫人物的英语短语 我喜欢听她讲课的英语短语 这就是我的朋友你喜欢她吗的英语短语 我喜欢她的照片的英语短语 我再也不喜欢她了https://yingyu.xiediantong.com/en/17b451fef10c4670/
5.喜欢运动英文怎么写喜欢运动英语怎么说及英文翻译沪江词库精选喜欢运动英语怎么说及英文翻译、英语单词怎么写、例句等信息 enjoy doing sports 相似短语 they enjoy 他们享受…… enjoy yourselves vi.过得快乐 enjoy in affluence 养尊处优,生活富裕 enjoy oneself 自我欣赏,自娱;玩得痛快,过得愉快 enjoy the cool 乘凉 enjoy doing sports 喜欢运动 https://www.hujiang.com/ciku/62286_-1607561682/
6.网易云热评总喜欢把英文翻译得如此缱绻我一直觉得用古风来翻译外文,怪怪的。 赞(65) 回应 Quel ennui 2019-11-06 00:27:52 第二个太造作了,神烦这种强行古风翻译歌词,网易好多英文歌翻译都这毛病,故作高深艰涩,结果词不达意,看了只觉咯噔。 赞(59) 回应 可爱狗狗 2019-11-06 00:05:07 我一直觉得用古风来翻译外文,怪怪的。 赞(65)https://www.douban.com/group/topic/157134092/?cid=2133772573
7.翻译成英语:我们都很喜欢他我很喜欢怎么翻译成英文 如果说的就是一个完整句子,那么“我很喜欢”就是:i like it very much / i do like it / i like it pretty much.如果是说“我很喜欢(某物)”,那就是:i really like/adore the . 20676 英语翻译 1 I like to play with him .2 She often go shopping with her mother https://qb.zuoyebang.com/xfe-question/question/12a3f68a5e4f792484a4f921c95f4018.html
8.喜爱的反义词有哪些四、【英文翻译】 like; love; be fond of; be keen on 五、【详细解释】 对人或事物产生好感或兴趣。 宋曾巩《张久中墓志铭》:“众人之得君游者,亦皆喜爱,而未尝有失其意者。”《水浒传》第一一六回:“方腊见柴进署事公平,尽心喜爱。”老舍《骆驼祥子》十一:“祥子似乎喜爱雪花。”孙犁《澹定集·答吴https://www.cnfla.com/fanyici/149919.html
9.TFBOYS歌曲英文歌词土味翻译,《喜欢你》竟成了民歌?太魔性了这些团歌虽然都是中文歌,但依然少不了英文的点缀。但是在央视元宵晚会上,网友们发现央视节目组竟然将《喜欢你》歌词里的英文部分翻译成了中文!《喜欢你》里的英文其实非常简单,只有“baby baby girl”这样的词组,显得还有几分也洋气。 但没想到央视竟然把它翻译成了“亲爱的姑娘”,突然之间变得土味十足啊!甚至有粉https://k.sina.cn/article_6078616816_16a5054f000100e0ex.html
10.简单大气的英文网名带翻译今年很受欢迎的好听英文网名简单大气的英文网名带翻译 今年很受欢迎的好听英文网名 导读:有些人喜欢热闹,有些人喜欢安静。有些人喜欢简单,有些人喜欢花哨。我们每个人都有自己的喜好,和想要的生活。所以,无须在意别人,做自己就好了。 beloved(意中人) Sadness 无心的人 Acolasia(放纵)https://www.qqtn.com/article/article_291303_1.html
11.英语四级翻译题平时怎么练??分享?收藏?喜欢收起?清宇? 高考话题下的优秀答主? 关注 365 人赞同了该回答 四级当时处于裸考状态550+,六级664 四级的翻译比起六级真的不是一个档次,四级不算特别难,基本上反复考察那些句式和一些专用名词记住,基本就问题不大,以下回答一定要点赞收藏,提升你的翻译分数。 目录 一、注意事https://www.zhihu.com/question/278733811
12.CCTV.com他也很有学问,懂好多外文,英文、法文、德文……有些文字现在很少有人懂,像北欧的文字,他也懂。文字掌握得多的话,能融会贯通,一种表现方式不行,换一种,绕过去就豁然开朗了,只懂一种文字,就一棵树上吊死了。 现在我眼睛不好了,有白内障,看东西模模糊糊的。《在路上》翻译了10个月,每天至少4小时。其实接https://news.cctv.com/society/20071102/106877.shtml
13.老人与海好词100英文带翻译高端很潮的气质昵称英文带翻译我们走得很慢,连幸福都着急。今天可爱点小编准备了气质昵称英文版本,若有喜欢速取吧~ hildishness(稚气) Indulge(纵容) farewell(深情) hushnow(安静) Shine(光芒) heat snow(热雪) Transparent 透明 Leave 离开 Deception 欺骗 Britney 暮光 Casset(宠爱) https://blog.csdn.net/weixin_29658641/article/details/112447939
14.favorite什么意思?favorite翻译(中文英文):特别喜欢的人,喜欢favorite的解释是:特别喜欢的人, 喜欢的事物, 亲… 该页还为英语学习者提供:favorite的中文翻译、英英详解、单词音标、在线发音、中英文例句等。https://dict.zhuaniao.com/en/favorite/
15.经典好听的微信英文签名带翻译经典好听的微信英文签名带翻译 Enriching oneself is more powerful than pleasing others. 丰富自己比取悦他人更有力量。 I am your traveler, you are my heart. 我是你的过客,你却是我的心。 I'm not jealous, I just have a feeling that you never gave me. https://www.ruiwen.com/wenxue/gexingqianming/983204.html
16.头条文章金庸大学毕业后在上海《东南日报》社供职,担任的工作就是记者兼英文翻译,从目前发现的资料来看,第一篇署名本名“查良镛”字样见报的文章,就是1946年12月5日发表在《东南日报》第三版上的《英国最近的外交政策——艾德礼表示支持联合国》,是翻译伦敦《泰晤士报》记者斯蒂特的一篇稿子,署名为“查良镛译”。https://card.weibo.com/article/m/show/id/2309404638266153631823