《人工神经网络》第6章自组织神经网络我脑子不好

自组织神经网络是一类无教师学习的神经网络模型,这类模型大都采用了竞争学习机制。自组织神经网络无需提供教师信号,它可以对外界未知环境(或样本空间)进行学习或模拟,并对自身的网络结构进行适当的调整,这就是所谓自组织的由来。

竞争学习机制以及自组织神经网络的代表模型:ART模型、SOM模型、CPN模型

6.1竞争型学习

竞争学习是指同一层神经元层次上的各个神经相互之间进行竞争,胜利的神经元修改与其相连的连接权值。这种机制可用来模式分类。竞争学习是无监督学习。在无监督学习中,只向网络提供一些学习样本,没有期望输出。网络根据输入样本进行自组织,并将其划分到相应的模式类别中。

基本的竞争学习网络由两个层次组成,输入层次和竞争层次。竞争层次中,神经元之间相互竞争,最终只有一个或者几个神经元活跃,以适应当前的输入样本。竞争胜利的神经元就代表着当前输入样本的分类模式。

6.1.1竞争学习原理

竞争学习网络第一层次是输入层次,接受输入样本。第二层次是竞争层次,对输入样本进行分类。这两个层次的神经元之间进行连接如图6.1所示。对于某个神经元j的所有连接权之和为1,即

6.1.2竞争学习网络特征

在竞争学习中,竞争层的神经元总是趋向于响应它所代表的某个特殊的样本模式,这样,输出神经元就变成检测不同模式的检测器。竞争学习方法,是网络通过极小化同一模式类里面的样本之间的距离,极大化不同模式类间的距离来寻找模式类。模式距离指Hamming距离,模式010与模式101的Hamming距离是3。

对这种竞争学习算法进行的模式分类,有时依赖于初始的权值以及输入样本的次序。

对比:竞争学习网络模式分类VS典型BP网络分类

BP网络分类学习必须预先知道将给定的模式分为几类。竞争网络能将给定模式分成几类预先并不知道,只有在学习之后才能确定。

从模式映射能力来看,后面要介绍的CPN竞争网络,由于竞争层上仅有一个输出为1的获胜单元,所以不能得到某些映射所要求的复杂表示;而BP网络能够在最小均方意义上实现输入—输出映射的最优逼近。

局限:

首先,只有部分输入模式训练网络,当用一个明显不同的新的输入模式进行分类时,网络的分类能力可能会降低,甚至无法进行分类。这是因为竞争学习采用非推理方式调节权值。另外,竞争学习对模式变换不具备冗余性,其分类不是大小、位移和旋转不变的,竞争学习网络没有从结构上支持大小、位移和旋转不变的模式分类。从使用上,一般利用竞争学习的无监督性,将其包含在其他一些网络中,仅作为其中的一部分。

6.2自适应共振理论(ART)模型

ART(AdaptiveResonanceTheory)模型是一种自组织神经网络。ART模型成功地解决了神经网络学习中的稳定性(固定某一分类集)与可塑性(调整网络固有参数的学习状态)的关系问题。

ART是以认知和行为模式为基础的一种无教师、矢量聚类和竞争学习的算法。在数学上,ART由线性微分方程描述;在网络结构上,ART网络是全反馈结构,且各层节点具有不同的性质;ART由分离的外部单元控制层间数据通讯。ART与其他网络相比,具有以下特点:

(1)神经网络要实现的是实时学习,而不是离线学习。

(2)神经网络面对的是非平稳的、不可预测的非线性世界。

(3)神经网络具有自组织的功能,而不只是实现有教师的学习。

(4)神经网络具有自稳定性。

(5)神经网络能自行学习一种评价指标(评价函数),而不需要外界强行给出评价函数。

(6)神经网络能主动地将注意力集中于最有意义的特征,而不需要被动地由外界给出对各种特征的注意权值。

(7)神经网络能直接找到应激发的单元,而不需对整个存贮空间进行搜索。

(8)神经网络可以在近似匹配的基础上进一步学习,这种基于假设检验基础上的学习对噪音具有更好的鲁棒性。

(9)神经网络的学习可以先快后慢,避免系统振荡。

(10)神经网络可实现快速直接访问,识别速度与模式复杂性无关。

(11)神经网络可通过“警戒”参数来调整判别函数。

6.2.1ART-1的基本原理

ART-1的结构原理如图6.4所示。模型被分为两个子系统,子系统和取向子系统。

子系统处理已学习的模式,也就是对已经熟悉的模式建立起精确的内部表示;取向子系统处理新出现的模式,当不熟悉的事件出现时,它回调注意子系统,在内部建立新的内部编码来表示不熟悉的事件。

(1)ART-1的工作过程

通过上述过程可知,信号模式在F1和F2之间来回运行(振荡),不断调整V*与I,直至与其匹配(共振)为止。

对于调整子系统的激励作用可以这样考虑:

(2)2/3匹配原则

模式V和I匹配是根据一定规则进行的。该规则称为2/3匹配规则,这是根据F1可能的3个输入信号(自上而下的样板V、自下而上的输入模式I、增益控制输入)中要是有2个起作用才能使F1产生输出而命名。F1中的神经元是否被激活,依赖于足够大的自上而下和自下而上信号的共同作用。只接受两个信号中的一个,神经元节点就不会起作用,所以失配部分不会被激活,如图6.9(c)。图6.9(d)表示模式之间的抑制连接,注意当子系统从一个模式向另一个模式移动时,这种抑制可以阻止F1提前发生激活。

增益控制可以决定F1如何知道信号来自下边的输入还是来自上边的反馈。因为当F2被激发,启动向F1输送学习样板时,增益控制就会给出抑制作用来影响F1对输入响应的灵敏度,从而使得F1区分自上而下和自下而上的信号。

6.2.2ART-1的学习算法

这是一种快速学习算法,而且是边学习边运行,输出节点中每次最多只有一个为1。每个输出节点可以看成一类相似样本的代表。由第7步修改权值可知,一个输出节点从上至下的所有权值对应于一个模式,当输入样本距离一个这样样本模式较近时,代表它的输出节点被激活。通过警戒线的调节可调整模式的类数:ρ小,模式类别少;ρ大,模式类别多。

6.2.3ART-2模型

ART-2的功能结构与ART-1大体相似,基本思想仍采用竞争学习机制。ART-2的输入可以是任意的模拟向量。在ART-2的模型中,F1采用了一种三层结构。

实心圆点的功能是求输入向量的模。

图示F1中,第一层(底层)和第二层(中层)构成一个闭合的正反馈回路。其中,标记Zi的节点接受输入Xi,而标记为Vi的节点接受上层送来的信号b(si),回路中还包括两次规范化运算和一次非线性交换。

F1的第二层(中层)个第三层(上层)构成另一个闭合正反馈回路,其中标记为pi的节点既接受中层送来的信号ui,又接受F2送来的信号。回路中也包含两次规范化运算和一次非线性交换,在上层si进行的运算为:

重要结论:

1、当网络学习稳定后,如果将一个已学习过的模式提供给网络,那么该模式将正确的激活所在类别的F2单元,并且共振状态出现。这种“直接访问”特性意味着网络能迅速访问已存贮的模式。

2、学习过程是稳定的,即,网络对任何一个输入模式经过有限次学习后,能产生一组稳定的连接权向量。当这个输入模式重复提供给网络时,不会引起网络连接权无休止地循环调节。(只调节一次就会被网络记忆)

网络对任何一个输入模式,试图将它进行有类别的分类。如果分类不成功,则将它归入一个新的类别。不管分类成功与否,都将它存贮于网络之中。这个过程使网络边学习边回想,实现了在线学习的功能。进一步地,网络通过选择恰当的警戒参数,可对任意数目的输入模式按要求分类。

ART网络很好地模拟了人类大脑记忆的“稳定性”和“可塑性”机理。但是,ART模型却未能模拟“内部表示”的分布式存贮原理。在ART中,若F2中某一单元“损坏”,将导致该类别模式的信息全部丢失。(F2中存贮的是类别模式的信息,一旦损坏,将会丢失信息)

6.3自组织特征映射(SOM)模型

自组织特征映射模型也称为Kohonen网络。

SOM由全互连的神经元阵列形成的无教师自组织学习网络。Kohonen认为,处在空间中不同区域的神经元有着不同的分工,当一个神经网络接受外界输入模式时,将会分为不同的反应区域,各区域对输入模式具有不同的响应特征。

SOM模型典型特征是:可以在一维或者二维的处理单元阵列上形成输入信号的特征拓扑分布,因此SOM模型具有抽取输入信号模式特征的能力。SOM模型一般只包含一维阵列和二维阵列,但可推广到多维处理单元阵列中。

Kohonen网络模型有四个部分:

(1)处理单元阵列:接受事件输入,并且形成对这些信号的“判别函数”。

(2)比较选择机制:比较判别“判别函数”并选择一个具有最大函数输出值的处理单元。

(3)局部互联作用:同时激励被选择的处理单元及其最邻近的处理单元。

(4)自适应过程:修正被激励的处理单元的参数,以增加其相应于特定输入“判别函数”的输出值。(增加2中那个最大函数输出值)

Kohonen算法步骤:

6.4CPN(CounterPropagationNetworks)模型

CPN通过组合Kohonen学习和Grossberg学习获得一种新的映射神经网络。CPN也被称为重复传播模型,用来实现样本选择匹配,CPN常被用作联想存贮、模式分类、函数逼近、统计分析、数据压缩等。

CPN是一个三层前向网络,如图所示。各层之间全互连连接。隐含层称为Kohonen层,即竞争层,采用无监督学习规则进行学习。输出层称为Grossberg层,与隐含层全互联,但不进行竞争。Grossberg层采用δ规则或Grossberg规则进行学习。

谁竞争胜利谁就会被输出。

CPN的学习过程:

在学习期间对Wj和Vk进行调整,分别使用两种不同的算法。首先,当赢得竞争胜利的神经元c确定后,这一神经元c就被选择用来表达相应的输入样本。仅仅是连接到神经元c的从输入层到竞争层的连接权值被调整(Wji),其他的权值保持不变。竞争结束后,开始计算网络的输出,并将其与理想输出相比较,然后改变隐含层与输出层神经之间的连接权值。(总结:竞争胜利改变与神经元c连接的权值Wij,输入到竞争,其他的权值不变;输出y时,与期望比较,改变其他的权值)

THE END
1.算法怎么入门?线性对数时间O(n \log n):常见于高效的排序算法,如归并排序、快速排序。平方时间O(n^2):嵌套循环https://www.zhihu.com/question/308239149/answer/50877832255
2.算法笔记(三)算法学习技巧从开始学习算法已经有两三个多月的时间了,从简单到深入层次展开,层层优化,对算法的理解也在逐渐加深,不在那么片面,虽然现在还是片面一些,对它的了解也仅仅知道冰山一角,还有很多的内容需要我们去学习去挖掘。 思路 在学习前我们要尽可能快速阅读一遍要学习的书籍,这样不仅仅让我们知道了有哪些内容需要学习,同时也在https://www.code456.com/article/3598351.html
3.如何有效学习算法?算法学习基础知识学习: 数学基础:掌握离散数学、概率论、统计学等基础知识 编程基础:熟练掌握至少一种编程语言,如Python、C++、Java等 数据结构与算法基础: 数据结构:学习数组、链表、栈、队列、树、图等数据结构 基础算法:掌握排序算法(如快速排序、归并排序)、搜索算法(如二分查找)、递归与迭代、哈希等 https://blog.csdn.net/qq_49548132/article/details/140109291
4.快速学习一个算法,VisionTransformer快速学习一个算法,Vision Transformer 为了保留图像块的位置信息,ViT 在嵌入向量中加入位置编码,这是 Transformer 架构中的一个关键组成部分。 Vision Transformer(ViT)是一种基于自注意力机制的神经网络架构,主要用于处理图像数据。 它是由谷歌研究人员在 2020 年提出的,标志着「将自然语言处理(NLP)中广泛使用的 https://www.51cto.com/article/790949.html
5.算法入门:从零开始学习算法的简单教程本文介绍了算法入门的基础知识,包括算法的基本概念、重要性及其应用领域。文章详细解释了如何描述和分析算法,并列举了常见的算法类型及其应用场景,适合希望从零开始学习算法的读者。 算法入门:从零开始学习算法的简单教程 算法基础概念介绍 什么是算法 算法是一组定义明确的指令,用于解决特定问题或完成特定任务。算法可https://www.imooc.com/article/357937
6.神经网络有哪些快速增量学习算法?神经网络的快速增量学习算法是一种可以在不需要重新训练整个网络的情况下对其进行修改和更新的技术。这些算法对于处理实时数据和动态环境非常有用,并且可以大大降低计算成本和时间。以下是几种流行的神经网络快速增量学习算法: 增量学习(Incremental Learning):增量学习是指通过不断添加新的训练样本来扩充神经网络的能力。它https://www.cda.cn/bigdata/201736.html
7.什么是数据结构?什么是算法?怎么学习数据结构与算法?学习算法,我们不需要死记硬背那些冗长复杂的背景知识、底层原理、指令语法……需要做的是领悟算法思想、理解算法对内存空间和性能的影响,以及开动脑筋去寻求解决问题的最佳方案。相比编程领域的其他技术,算法更纯粹,更接近数学,也更具有趣味性。 本文将回顾数据结构与算法的基础知识,学习日常所接触场景中的一些算法和策https://maimai.cn/article/detail?fid=1744039689&efid=u2sSJyH6RePBrCh7o1dCfA
8.小样本学习介绍腾讯云开发者社区在元训练期间,MAML学习初始化参数,这些参数允许模型快速有效地适应新的少样本任务,其中这个任务有着新的、未知的类别。 MAML目前在流行的少样本图像分类基准测试中的效果不如度量学习算法。由于训练分为两个层次,模型的训练难度很大,因此超参数搜索更为复杂。此外,元的反向传播意味着需要计算梯度的梯度,因此你必须使用https://cloud.tencent.com/developer/article/1499499
9.吴师兄学算法五分钟学算法吴师兄学算法(www.cxyxiaowu.com)提供许多数据结构与算法学习的基础知识, 涵盖 LeetCode 题解、剑指 Offer 题解、数据结构等内容。https://www.cxyxiaowu.com/
10.趣学算法(陈小玉著)带目录完整pdf[95MB]电子书下载1.5 算法学习瓶颈 21 1.6 你怕什么 22 第2章 贪心算法 24 2.1 人之初,性本贪 25 2.1.1 贪心本质 25 2.1.2 贪亦有道 26 2.1.3 贪心算法秘籍 26 2.2 加勒比海盗船—最优装载问题 27 2.2.1 问题分析 27 2.2.2 算法设计 28 2.2.3 完美图解 28 https://www.jb51.net/books/635507.html
11.支持C++,Java,Python,Go,JavaScript等多语言版本,从此算法学习《代码随想录》LeetCode 刷题攻略:200道经典题目刷题顺序,共60w字的详细图解,视频难点剖析,50余张思维导图,支持C++,Java,Python,Go,JavaScript等多语言版本,从此算法学习不再迷茫! 来看看,你会发现相见恨晚!https://gitee.com/yuandreams/leetcode-master
12.java快速学习排序快排算法一、快速排序是(挖坑法)是挖坑填数 + 分治来实现。 1.快速排序的基本思想: 2.快速排序的图示: 3.快速排序的算法https://www.jianshu.com/p/e4369c66d4a5
13.科学网—[转载]基于深度强化学习的六足机器人运动规划传统的 A*、广度优先搜索等算法能够在状态空间维度较低的情况下为机器人快速规划出可行运动轨迹,但在维度较高的状态动作空间中往往会面临维数灾难问题,因此使用此类算法需要将机器人的状态空间以及动作空间进行充分的离散精简,在降低优化指标的前提下得到次优策略。近年来,随着深度强化学习的发展,越来越多的研究人员开始https://blog.sciencenet.cn/blog-951291-1288193.html
14.《常用算法之智能计算(三)》:机器学习计算因为机器学习计算中涉及了大量的统计学理论,机器学习与统计推断的联系尤为密切,也被称为统计学习理论。算法设计方面,机器学习计算关注可以实现的、行之有效的学习算法,很多推论问题具有无程序可循的难度,所以部分的机器学习研究是开发简单、处理容易的近似算法。http://www.kepu.net/blog/zhangjianzhong/201903/t20190327_475625.html
15.北京邮电大学主页平台管理系统yuheHome3. 基于触觉感知的手势识别机器学习算法研究 招生方向:信息与通信工程 新一代电子信息技术 本实验室欢迎有读研、读博和出国意向的本科生加盟开展科研工作。 实验室地址:北邮出版社(本部校区)明光楼800室 代表性成果: 【1】He Yu, Cong Wang, Fan-Yi Meng, Jun-Ge Liang, Haider Syed Kashan, Kishor Kumar Adhttps://teacher.bupt.edu.cn/yuhe/en/index.htm
16.初学机器学习?推荐从这十大算法入手机器学习算法的研究已经得到了广泛的关注。发表在《哈佛商业评论》上的文章称“数据科学家”是“二十一世纪最性感的职业“。所以,对于那些刚刚踏入机器学习领域的人们,我们决定重写我们非常受欢迎的“金牌”博文《每个工程师都需要知道的十个机器学习算法》。简而言之,这篇文章是面向初学者的。 https://36kr.com/p/1721961660417
17.超详细算法岗的学习路线大总结!机器学习 or 深度学习基础 论文or 项目介绍 其他问题 & 向面试官提问 本文将从以上四点进行展开。 一、数据结构&算法题 随着算法岗越来越卷,Coding几乎成了面试必考的一项,而且在面评中的权重也越来越高,根据个人面试经验,如果这一环节没有很顺利得完成的话,几乎必挂,尤其对于非科班转行的同学,需要特别重视。 https://leetcode.cn/circle/discuss/SX3aa6/
18.深度学习高手笔记卷1:基础算法本书通过扎实、详细的内容和清晰的结构,从算法理论、算法源码、实验结果等方面对深度学习算法进行分析和介绍。本书共三篇,第一篇主要介绍深度学习在计算机视觉方向的一些卷积神经网络,从基础骨干网络、轻量级 CNN、模型架构搜索 3 个方向展开,介绍计算机视觉方向的里程碑算法;第二篇主要介绍深度学习在自然语言处理方向的https://www.epubit.com/bookDetails?id=UB7d8623610d375