开篇：写作不仅是一种记录，更是一种创造，它让我们能够捕捉那些稍纵即逝的灵感，将它们永久地定格在纸上。下面是小编精心整理的12篇神经网络算法，希望这些内容能成为您创作过程中的良师益友，陪伴您不断探索和进步。
1绪论
随着电子信息技术的快速发展，芯片的设计与生产进入了纳米时代，计算机的计算能力与计算速度得到了空前的提高，但是人们的需求是无限的，要求计算机能更加任性化的服务于我们的生活，这也就要求计算机本身能像人一样识别与感知周围的环境，并对复杂的环境做出正确的判断。而图片信息是我们周围环境最直观的，最容易获取的信息，要求计算机能对为的环境做出识别与判断也就要求计算机能够智能的识别图像信息。深度学习是机器学习中的一个新的研究领域。通过深度学习的方法构建深度网络来抽取目标特征进而识别周围的环境。卷积神经网络对图像的处理具有平移，旋转，扭曲不变的优良特性。在处理图像是更加快捷和便利。卷积神经网络使得计算机在感知识别周围环境的能力有了巨大的提升，使得计算机更加智能。卷积神经网络拥有强大的特征提取能力，使得其在图像分类识别，目标跟踪等领域有着强大的运用。
1.1国内外研究现状
2013年百度成立百度深度学习研究院以来我国的人工智能领域取得了长足的进步。在人工智能专家吴恩达的带领下，百度陆续推出一系列人工智能产品，无人驾驶技术，DuerOS语音交互计算平台，人脸识别技术，美乐医等优秀产品。此外Imagenet图像识别大赛中也诞生了一系列经典的神经网络结构，VGG，Fast-R-CNN，SPP-net等等，可以说人工智能技术在近几年得到了空前的发展。
2深度学习概述
深度学习是机器学习的一个新方向，通过学习样本数据内在规律和深层特征深度，深度学习神经网络能够像人一样有分析和学的能力，尤其在文字处理，图像识别，语音等领域更加突出。能够自主学习一些新的东西。目前深度学习使用的典型技术是通过特征表达和分类器来进行目标识别等任务的。并在语音识别、图像处理、机器翻译等领域取得很多成果。
深度学习不同于以往的浅层学习，浅层学习模型值包含一个隐藏层，或者不存在隐藏层，深度学习则是由很多隐藏层组成的，上一层的输出作为下一层的输入，实验对输入信息进行分级表达。目前深度学习框架主要包含三种深度学习框架，如图1、2、3所示。
3卷积神经网络
卷积神经网络的结构层次比传统的神经网络复杂，卷积神经网络包含大量的隐藏层，相邻的卷积核或者下采样核采用局部感受野全链接，神经元权值共享的规则，因此卷积神经网络训练参数的数量远比传统神经网络少，卷积神经网络在训练和前向测试的复杂度大幅度降低，同时也减少了神经网络训练参数过拟合的几率。卷积神经网络主要有两部分，分别是卷积核和下采样核。卷积核主要对上一层的图像进行卷积运算，提取图像特征，下采样核则是对上层的数据进行将为处理，减少神经网络的复杂度。
卷积神经网络中每一个神经元的输入与前一层的局部感受野相连，提取局部感受野的特征，比如图像的轮廓，颜色等特征，而这些特征不仅包括传统人类能理解的特征，也包括神经网络自身能够识别的特征，卷积核全职共享，因此这些特征提取与图像的位置无关。
图4是经典的LeNet5卷积神经网络架构，LeNet5架构中卷积核和下采样核交替出现，下采样核及时的将卷积核生成的特征向量进行降维，减少神经网络的运算量。LeNet5算法在1962年幼Hubel等人提出，在识别手写数字mnist中有极高的准确率。
4R-CNN、Fast-R-CNN对比分析
卷积神经网络在对图像进行识别具有平移，旋转，扭曲不变的优良特性，并且能够实现高准确率识别图像，但是在现实生活运用中往往需要神经网络标记出目标的相对位置，这是传统卷积神经网络不具备的功能。因此在前人传统卷积神经网路基础上对卷积神经网络进行改进，产生了具有对图像中目标进行识别和定位的卷积神经网络R-CNN，Fast-R-CNN等改良算法。
4.1R-CNN
R-CNN为RegionConvoluntionalNeuralNetwork的缩写即对图像进行局部区域的卷积处理，其核心思想主要是利用候选区图像对物体探测中位置信息进行精确处理和利用监督式预训练和区域特殊化的微调方法，代替了传统的非监督式预训练和监督式微调。
4.2Fast-R-CNN
Fast-R-CNN则是再次改进的一种基于卷积神经网络目标跟踪定位算法。相比于R-CNN，Fast-R-CNN从单输入变为双输入，在全连接层后有了两个输出，引入了Rol层。
Fast-R-CNN在运行的时候同样会生成大量的候选区，同时将原始的图片用卷积神经网络进行特征提取，将原始图片提取的特征与生成的候选区坐标送入Rol层为每一个候选区生成一个固定大小的特征向量。最后将Rol生成的特征向量全连接层产生最终的LOSS。Fast-R-CNN中的LOSS采用多LOSS模式，SoftMaxLOSS用于计算K+1分类的损失，K为第K个目标，1为背景；RegressionLOSS计算候选区的四个角的坐标。
Fast-R-CNN在MAP上有了大幅度的提升，速度也得到了提升，但是在计算候选区是仍存在瓶颈，这也是限制Fast-R-CNN速度的因素。
5实验测试
对于本文提出的卷积神经网络识别图像定位图像目标算法R-CNN，Fast-R-CNN，在本章给出实验结果。实验平台为基于Linux系统的debian8下运行caffe进行训练，采用显卡K620进行实验。
训练模型初始化参数在是服从高斯随机分布，R-CNN采用的网络结构如图7所示，Fast-R-CNN的网络结构如图8所示。
本次实现的训练样本为录制实验室视频数据，将视频数据转换成帧图片，对每张图片数据进行裁剪，裁剪后图像大小在256*256，共有500张，再将裁剪后的图片进行旋转，平移，扭曲，镜像，加噪声等处理，最后生成144万张样本图片，其中136.8万张图片作为训练样本，7.2万张作为测试样本。
6总结
参考文献
[1]谢宝剑.基于卷积神经网络图像分类方法研究[D].合肥工业大学，2015.
[2]郑胤，陈权崎，章毓晋.深度学习及其在目标和行为识别中的新进展[J].中国图象图形学报，2014（02）：175-184.
[3]陈先昌.基于卷积神经网络的深度学习算法与运用研究[D].杭州：浙江工商大学，2006（04）：603-617.
[4]李彦冬，郝宗波，雷航等.卷积神经网络研究综述[J].计算机应用，2016.
[5]Gibson.JJ.TheperceptionoftheVisualWorld[J].Cambridge，England，1950.
[6]HORNB，SCHUNCKP.Determiningopticalflow[J].ArtificialIntelligence，1981，17：185-203.
[7]R.Girshick，J.Donahue，T.Darrell，andJ.Malik，“Richfeaturehierarchiesforaccurateobjectdetectionandsemanticsegmentation，”inCVPR，2014
[8]RossGirshick，WicrosoftResearch.FastR-CNN，.
[9]R.Girshick.FastR-CNN.arXiv：1504.08083，2015.
（①昆明理工大学国土资源与工程学院，昆明650093；②黄河勘测规划设计有限公司，郑州450003）
（①FacultyofLandResourceEngineering，KunmingUniversityofscienceandTechnology，Kunming650093，China；
②TheYellowRiverSurveyPlanningandDesignCo.，Ltd.，Zhengzhou450003，China）
Abstract：Withthedeepresearchinthetheoryofneuralnetwork,neuralnetworkhasplayedaveryimportantroleintheclassificationoftheimage.ThisarticleusestheIDLlanguagetoimplementthealgorithmtooptimizetheweightsofneuralnetworktotheadjustmentprocess,andontheENVIintegration,hasreachedtheneuralnetworkclassificationspeed,precisionandreliable.
关键词：神经网络；图像分类；ENVI；IDL；集成；精度
Keywords：neuralnetwork；imageclassification；ENVI；IDL；integration；precision
中图分类号：P237文献标识码：A
0引言
1IDL的语言环境
IDL（InteractiveDataLanguage）是美国RSI公司推出的面向矩阵的第四代计算机语言，它语法简单，自带大量的功能函数，使用很少的代码就能实现其它语言很难实现的功能。IDL是进行数据分析、可视化及跨平台应用开发的最佳选择，利用IDL可以快速地进行科学数据读写、图像处理、集成数学统计、信号分析、数值计算和三维图像建模等。IDL集可视、交互分析、大型商业开发为一体，为您提供了最完善、最灵活最有效的开发环境。
IDL的开发应用已经深入到了人类日常生活的方方面面，给人类对未知领域的探索与发现提供了强有力的工具，推动了人类向前发展。对IDL的语言环境熟悉之后，紧接着就开始针对目前存在的基于神经网络的遥感图像分类问题进行改进，并结合ENVI软件，使用IDL语言设计出改进后的优化算法。
2ENVI中基于神经网络分类的剖析
ENVI中采用的神经网络属于BP网络，含有输入层、输出层以及处于输入输出层之间的隐含层，如果进行非线性分类，输入的区域并非线性分类或需要两个超平面才能区分类别时候，隐层数设置为大于或等于一。隐含层的状态影响输入与输出之间的关系，改变隐含层的权系数，可以改变整个多层神经网络的性能。
ENVI中采用的BP神经网络通过误差函数的最小化过程来完成输入到输出的映射。为了完成最小化过程，这种BP反向传播算法分正向传播和反向传播两步进行。在正向传播中，输入的样本从输入层经过隐单元一层一层进行处理，通过所有的隐含层之后，则传向输出层；在逐层处理的过程中，每一层神经元的状态只对下一层神经元的状态产生影响；在输出层把现行输出和期望输出进行比较,如果现行输出不等于期望输出，则进入反向传播过程。在反向传播过程中，反向传播把误差信号按原来正向传播的通路反向传回，反复修改（这是个迭代的过程）各节点的权重和阈值，逐渐减小误差，直到达到预先设定的要求。当误差小于某一相当小的正数或迭代误差不再减少时，完成BP网络的训练、输入与输出的映射的确定。
3编写迭代函数
为了能在ENVI菜单上调用埃特金迭代收敛函数，需要在ENVI菜单中创建一个新的菜单项，并定义一个此用户函数。这个用户函数可以通过在ENVI菜单中选择这个新的菜单项来进行调用。具体工程如下：
①在现有的ENVI菜单基础上创建新的功能菜单，首先用文本编辑器打开envi.men文件，添加如下部分：
PROMY_PROCESS_DEFINE_BUTTONS,buttonInfo
COMPILE_OPTIDL2
ENVI_DEFINE_MENU_BUTTON,buttonInfo,VALUE=‘NewFunction’,$
/MENU,REF_VALUE=‘Supervised’,REF_INDEX=0,$
POSITION=‘last’
ENVI_DEFINE_MENU_BUTTON,buttonInfo,VALUE=‘Function1’,$
UVALUE=‘Function1’,EVENT_PRO=‘my_process_event’,$
REF_VALUE=‘NewFunction’
END
如果ENVI已经打开，需要关闭并重新启动ENVI,然后在ENVI主菜单上，会看到Classification菜单下的Supervised的子菜单内增加了新的菜单“NewFunction”。
②编写迭代函数。在运行ENVI的IDL开发环境中，迭代功能函数的部分代码如下：
ENVI_NEURAL_NET_DOIT
FUNCTIONbm_func,X,[X0，X1……Xn]
nx=Xn,
t=FINDGEN(nx-X)
……………
4实验过程与精度评定
5结束语
ENVI上调用迭代函数的神经网络总体上比原来的神经网络分类要优越，其鲜明的特色就是分类速度快，精度也高。这大大提速原有的神经网络分类速度，尤其在处理大数据优越明显。但是ENVI上仍存在神经网络分类单一化现象，怎样使其减少人为的干预，使其更智能化是今后的研究趋势。
参考文献：
[1]董彦卿.IDL程序设计—数据可视化与ENVI二次开发[M].北京：高等教育出版社，2012.
关键词:模糊神经网络;扩展卡尔曼滤波;自组织学习
模糊神经网络起源于20世纪80年代后期的日本,由于其简单、实用,已经被广泛应用在工业控制、系统辨识、模式识别、数据挖掘等许多领域[1~4]。然而,如何从可用的数据集和专家知识中获取合适的规则数仍然是一个尚未解决的问题。为了获取模糊规则,研究人员提出了不同的算法,如文献[5]利用正交最小二乘算法确定径向基函数的中心,但是该算法训练速度比较慢;文献[6]提出了基于径向基函数的自适应模糊系统,其算法使用了分层自组织学习策略,但是逼近精度低。扩展卡尔曼滤波(EKF)算法作为一种非线性更新算法,在神经网络中得到了广泛应用。文献[7]利用扩展卡尔曼滤波算法调整多层感知器的权值,文献[8]利用扩展卡尔曼滤波算法调整径向基函数网络的权值。
本文提出了一种模糊神经网络的快速自组织学习算法(SFNN)。该算法基于无须修剪过程的生长准则增加模糊规则,加速了网络学习过程,同时使用EKF调整网络的参数。在该算法中,模糊神经网络结构不是预先设定的,而是在学习过程中动态变化的,即在学习开始前没有一条模糊规则,在学习过程中逐渐增加模糊规则。与传统的模糊神经网络学习算法相比,本算法所得到的模糊规则数并不会随着输入变量的增加而呈指数增长,特别是本算法无须领域的专家知识就可以实现对系统的自动建模及抽取模糊规则。当然,如果设计者是领域专家,其知识也可以直接用于系统设计。本算法所得到的模糊神经网络具有结构小、避免出现过拟合现象等特点。
1SFNN的结构
本文采用与文献[9]相似的网络结构,如图1所示。其中,r是输入变量个数;xi(i=1,2,…,r)是输入语言变量;y是系统的输出;MFij是第i个输入变量的第j个隶属函数;Rj表示第j条模糊规则;wj是第j条规则的结果参数;u是系统总的规则数。
下面是对该网络各层含义的详细描述。
第一层:输入层。每个节点代表一个输入语言变量。
第二层:隶属函数层。每个节点代表一个隶属函数,隶属函数采用如下的高斯函数:
μij=exp(-(xi-cij)2σ2ij);i=1,2,…,r;j=1,2,…,u(1)
其中:r是输入变量数;u是隶属函数个数,也代表系统的总规则数;μij是xi的第j个高斯隶属函数;cij是xi的第j个高斯隶属函数的中心;σij是xi的第j个高斯隶属函数的宽度。
第三层:T-范数层。每个节点代表一个可能的模糊规则的IF-部分,也代表一个RBF单元,该层节点个数反映了模糊规则数。如果计算每个规则触发权的T-范数算子是乘法,则在第三层中第j条规则Rj的输出为
φj=exp(-ri=1(xi-cij)2σ2ij);j=1,2,…,u(2)
第四层:输出层。该层每个节点代表一个输出变量,该输出是所有输入变量的叠加。
y(X)=uj=1wjφj(3)
其中:y是网络的输出;wj是Then-部分。
2SFNN的学习算法
如前文所述,第三层的每个节点代表一个可能的模糊规则的IF-部分或者一个RBF单元。如果需要辨识系统的模糊规则数,则不能预先选择模糊神经网络的结构。于是,本文提出一种新的学习算法,该算法可以自动确定系统的模糊规则并能达到系统的特定性能。
2.1模糊规则的产生准则
在模糊神经网络中,如果模糊规则数太多,不仅增加系统的复杂性,而且增加计算负担和降低网络的泛化能力;如果规则数太少,系统将不能完全包含输入/输出状态空间,将降低网络的性能。是否加入新的模糊规则取决于系统误差、可容纳边界和误差下降率三个重要因素。
2.1.1系统误差
误差判据:对于第i个观测数据(xi,ti),其中xi是输入向量,ti是期望输出,由式(3)计算网络现有结构的全部输出yi。
定义:ei=ti-yi;i=1,2,…,n(4)
如果ei>keke=max(5)
则说明网络现有结构的性能比较差,要考虑增加一条新的规则;否则,不生成新规则。其中:ke是根据网络期望的精度预先选择的值;emax是预定义的最大误差;emin是期望的输出精度;β(0<β<1)是收敛因子。
2.1.2可容纳边界
可容纳边界:对于第i个观测数据(xi,ti),计算第i个输入值xi与已有RBF单元的中心cj之间的距离di(j),即
di(j)=xi-cj;i=1,2,…,n;j=1,2,…,u(6)
其中:u是现有的模糊规则或RBF单元的数量。令
di,min=argmin(di(j))(7)
如果di,min>kd,kd=max[dmax×γi,dmin](8)
则说明已存在的输入隶属函数不能有效地划分输入空间。因此,需要增加一条新的模糊规则,否则,观测数据可以由已存在的距离它最近的RBF单元表示。其中:kd是可容纳边界的有效半径;dmax是输入空间的最大长度;dmin是所关心的最小长度;γ(0<γ<1)是衰减因子论文。
2.1.3误差下降率
传统的学习算法把误差减少率(ERR)[5]用于网络生长后的修剪过程,算法会因为修剪过程而增加计算负担,降低学习速度。本文把误差减少率用于生长过程形成一种新的生长准则,算法无须经过修剪过程,从而加速网络的学习过程。
给定n个输入/输出数据对(xi,ti),t=1,2,…,n,把式(3)看做线性回归模型的一种特殊情况,该线性回归模型为
t(i)=uj=1hj(i)θj+ε(i)(9)
式(9)可简写为
D=H+E(10)
对于矩阵φ,如果它的行数大于列数,通过QR分解:
H=PQ(11)
可把H变换成一组正交基向量集P=[p1,p2,…,pu]∈Rn×u,其维数与H的维数相同,各列向量构成正交基,Q∈Ru×u是一个上三角矩阵。通过这一变换,有可能从每一基向量计算每一个分量对期望输出能量的贡献。把式(11)代入式(10)可得
D=PQ+E=PG+E(12)
G的线性最小二乘解为G=(PTP)-1PTD,或
gk=pTkDpTkpk;k=1,2,…,u(13)
Q和满足下面的方程:
Q=G(14)
当k≠l时,pk和pl正交,D的平方和由式(15)给出:
DTD=uk=1g2kpTkpk+ETE(15)
去掉均值后,D的方差由式(16)给出:
n-1DTD=n-1uk=1g2kpTkpk+n-1ETE(16)
由式(16)可以看到,n-1uk=1g2kpTkpk是由回归量pk所造成的期望输出方差的一部分。因此,pk的误差下降率可以定义如下:
errk=g2kpTkpkDTD,1≤k≤u(17)
把式(13)代入式(17)可得
errk=(pTkD)2pTkpkDTD,1≤k≤u(18)
式(18)为寻找重要回归量子集提供了一种简单而有效的方法,其意义在于errk揭示了pk和D的相似性。errk值越大,表示pk和D的相似度越大,且pk对于输出影响越显著。利用ERR定义泛化因子(GF),GF可以检验算法的泛化能力,并进一步简化和加速学习过程。定义:
GF=uk=1errk(19)
如果GF
2.2参数调整
θi=θi-1
ti=h(θi-1,Xi)+ei(20)
在当前的估计值i-1处将非线性函数h(θi-1,Xi)展开,则状态模型可以重写为
ti=Hiθi-1+εi+ei(21)
其中:εi=h(i-1,Xi)-Hii-1+ρi。Hi是如下的梯度向量:
Hi=h(θ,Xi)θ|θ=i-1(22)
参数向量θ使用下面的扩展卡尔曼滤波算法更新:
Ki=Pi-1HTi[HiPi-1HTi+Ri]-1
θi=θi-1+Ki(ti-h(θi-1,Xi))
Pi=Pi-1-KiHiPi-1+Qi(23)
其中:Ki是卡尔曼增益矩阵;Pi是逼近误差方差阵;Ri是量测噪声方差阵;Qi是过程噪声方差阵。
全局扩展卡尔曼滤波算法会涉及大型矩阵运算,增加计算负担,因此可以将全局问题划分为一系列子问题从而简化全局方法。网络的前件部分具有非线性特性,利用扩展卡尔曼滤波算法对其进行调整;网络的后件部分具有线性特性,利用卡尔曼滤波算法对其进行调整,该方法等同于将全局方法简化为一系列解耦方法,可以降低计算负担。由于高斯函数的中心对系统的性能影响不明显,为了简化计算,只对高斯隶属函数的宽度进行调整。
前件参数使用如下的扩展卡尔曼滤波算法更新:
Kδi=Pδi-1GTi[Ri+GiPδi-1GTi]-1
δi=δi-1+Kδi(Ti-wi-1φi)
Pδi=Pδi-1-KδiGiPδi-1+Qi(24)
后件参数使用如下的卡尔曼滤波算法更新:
Kwi=Pwi-1φTi[Ri+φiPwi-1φTi]-1
wi=wi-1+Kwi(Ti-wi-1φi)
Pwi=Pwi-1-KwiφiPwi-1+Qi(25)
2.3模糊规则的增加过程
在SFNN学习算法中,模糊规则增加过程如下:
a)初始参数分配。当得到第一个观测数据(X1,t1)时,此时的网络还没有建立起来,因此这个数据将被选为第一条模糊规则:c0=X0,δ1=δ0,w1=t1。其中δ0是预先设定的常数。
b)生长过程。当得到第i个观测数据(Xi,ti)时,假设在第三层中已存在u个隐含神经元,根据式(4)(7)和(19),分别计算ei、di,min、GF。如果
ei>ke,di,min>kd,且GF
则增加一个新的隐含神经元。其中ke、kd分别在式(5)和(8)中给出。新增加的隐含神经元的中心、宽度和权值赋值为:Cu+1=Xi,δu+1=k0di,min,wu+1=ei,其中k0(k0>1)是重叠因子。
c)参数调整。当增加新神经元后,所有已有神经元的参数通过式(24)(25)描述的算法调整。
3仿真研究
x(t+1)=(1-a)x(t)+bx(t-τ)1+x10(t-τ)(27)
为了能够与文献[5,6]在相同的基础上进行比较,取值Δt=P=6,式(27)中的参数选择为:a=0.1,b=0.2,τ=17。预测模型表示为x(t+6)=f[x(t),x(t-6),x(t-12),x(t-18)](28)
4结束语
SFNN采用在线学习方法、参数估计和结构辨识同时进行,提高了网络的学习速度。基于该方法生成的模糊神经网络具有紧凑的结构,网络结构不会持续增长,避免了过拟合及过训练现象,确保了系统的泛化能力。
参考文献:
[1]
HUANGHuan,WUCong-xin.Approximationcapabilitiesofmultilayerfuzzyneuralnetworksonthesetoffuzzy-valuedfunctions[J].InformationSciences,2009,179(16):2762-2773.
[2]DENGXing-sheng,WANGXin-zhou.Incrementallearningofdynamicfuzzyneuralnetworksforaccuratesystemmodeling[J].FuzzySetsandSystems,2009,160(7):972-987.
[3]韦玉科,汪仁煌,李江平,等.一种新的数据智能化处理算法[J].计算机应用研究,2008,25(5):1328-1329.
[4]CHENSheng,HONGXia,LUKBL,etal.Orthogonal-least-squaresregression:aunifiedapproachfordatamodeling[J].Neurocompu-ting,2009,72(10-12):2670-2681.
[5]CHENS,COWANCFN,GRANTPM.Orthogonalleastsquareslearningalgorithmforradialbasisfunctionnetworks[J].IEEETransonNeuralNetworks,1991,2(2):302-309.
[6]CHOKB,WANGBH.Radialbasisfunctionbasedadaptivefuzzysystemsandtheirapplicationstosystemidentificationandprediction[J].FuzzySetsandSystems,1996,83(3):325-339.
[7]RIVALSI,PERSONNAZL.ArecursivealgorithmbasedontheextendedKalmanfilterforthetrainingoffeedforwardneuralmodels[J].Neurocomputing,1998,20(1):279-294.
[8]SIMOND.TrainingradialbasisneuralnetworkswiththeextendedKalmanfilter[J].Neurocomputing,2002,48(1):455-475.
[9]WUShi-qian,ERMJ,GAOYang.Afastapproachforautomaticgenerationoffuzzyrulesbygeneralizeddynamicfuzzyneuralnetworks[J].IEEETransonFuzzySystems,2001,9(4):578-594.
【关键词】计算机网络连接增强优化神经网络算法
计算机网络是一种先进的科技技术，自出现以来就极大程度的改变了人们的生活生产方式，带来了非常大的便利。我国现阶段的计算机网络连接相对比较薄弱，存在很多不完善的地方。因此，有必要采取措施优化计算机网络连接，进而维护计算机网络连接的安全稳定，营造良好的上网环境。
1计算机网络连接增强优化
1.1计算机网络连接增强优化的必要性
网络连接对于计算机网络的重要性不言而喻。如果出现网络连接断开的问题，就会导致计算机设备无法与通信网络进行有效的信息沟通。因此，必须优化计算机网络连接，拓扑扩展计算机网络，提升信息交流的有序性和有效性，降低影响所带来的损失。因此，在现有的网络环境中，加入合适的结点，进而完善计算机网络连接的有效率，以及提高网络容量，拓展现有网络结构，使得信息交流的交互性进一步增强，最终实现计算机网络连接的优化目的，拓扑扩展了计算机网络。现阶段，存在非常多的措施能够提升计算机网络连接的效率，扩展网络容量，以及上网环境的优化。但是，很多方法措施需要投入大量的资金作为支持，不具有实用性和经济性。而计算机网络应用要求计算机网络连接优化措施适当合理，在最小的经济支出情况下解决问题，因此，只有采取增强优化下的神经网络算法。
1.2计算机网络拓扑结构
计算机网络拓扑结构主要是指，网上计算机或设备与传输媒介形成的结点与线的物理构成模式。通信子网直接影响计算机网络拓扑结构的形式，拓扑结构能够在一定程度上保证网络信息数据系统的安全性、可靠性、完整性，此外能够对数据信息进行共享、处理以及交换等内容。根据网络拓扑结构框架分析，可以清楚的明确计算机网络结构是由链路和节点所组成，也可以这样理解，计算机网络拓扑是由计算机组成的，网络之间设备的分布情况以及连接状态所形成的拓朴图。通常情况下计算机网络用G=来表示，V指的是网络结点集，E指的是链路集。如果增加结构中的结点集用Va表示，增加的连接集用Eb表示，进而得出计算机网络结构为G’=。
2基于计算机网络连接优化中的神经网络算法
2.1神经网络算法
思维学普遍认为，人类大脑的思维分为抽象思维、形象思维和灵感思维三种基本方式。而抽象思维是一种逻辑化思想，形象思维是一种直观化思想，灵感思维是一种顿悟性和创造性思想。而神经网络思维，就是通过对上述理论的分析实践，模拟人类大脑思维的第二种方式。人工神经网络，是一个非线性动力学系统，其特色在于信息的分布式存储和并行协同处理。虽然单个神经元的结构极其简单，功能有限，但大量神经元构成的网络系统所能实现的行为却是极其丰富多彩的。相对人工神经网络来说，人工神经网络应用系统更加高级，通过对网络算法以及网络模型的合理运用，合理处理信号，或者识别某种运行模式，最终形成一套独立完善的专家系统，或者智能化的机器人。
现阶段，社会中越来越多的领域开始应用人工神经网络，在生产领域上取得了明显效果。人们也越发提高对人工神经网络算法的重视程度，神经网络算法是在此基础上逐渐发展完善的，是监督性的学习算法。但是在实际应用过程中，人工神经网络算法还存在一些不足之处，没有合理解决收敛速度缓慢的问题，无法控制收敛程度到最小点，因此增加了计算机网络记忆和学习的不稳定性，同时计算机网络连接效果也受此影响。
2.2均场神经网路算法
3总结
[1]陈竺.计算机网络连接增强优化中的神经网络算法[J].电子技术与软件工程，2014（19）：16-16.
[2]王颖华，金爱花.计算机网络连接增强优化中的均场神经网络算法[J].硅谷，2013（15）：61-62.
[3]李盼池，许少华.基于过程神经网络和遗传算法的系统逆向过程求解[J].计算机测量与控制，2015（10）：948-950.
1什么是CBIR
传统的基于文本的图像检索（Text-BasedImageRetrieval，TBIR）技术是先通过人工方式对图像进行文字标注，再用关键字来检索图像，这种方式耗时并且主观，无法满足大规模图像数据的检索需要。基于内容的图像检索（Content-BasedImageRetrieval，CBIR）技术是根据图像对象的内容及上下文联系在大规模多媒体数据库中进行检索。
2神经网络的特点
神经网络是在现代神经学的研究基础上发展起来的一种模仿人脑信息处理机制的网络系统，它具有自组织、自学习和极强的非线性处理能力，能够完成学习、记忆、识别和推理等功能，它已在控制、模式识别、图像和视频信号处理、人工智能、自造应滤波等方面获得了应用。医学上，神经网络这一智能的诊断方法，能够排除各种人为因素，得到准确客观的诊断结果，对医学图像数据若用传统的线性处理模式通常不太好处理，BP神经网络是众多神经网络中应用最广泛的一种多层前馈神经网络，图1所示为三层BP神经网络。
3蚁群算法
蚁群算法[6]（AntColonyOptimization，ACO）是由意大利学者Dorigo等人于20世纪90年代初期通过模拟自然界中蚂蚁集体寻径的行为而提出的一种基于种群的启发式随机搜索算法。蚁群算法作为一种新型的智能仿生模型，近几年在图像分割、图像特征提取、图像匹配、影像纹理分类、图像检索等领域都取得了研究成果[8]。
4神经网络算法和蚁群算法在医学图像检索中的应用
4.1医学图像预处理在医学方面，图像预处理的主要目的是消除图像中无关的信息、增强有关信息的可检测性并最大限度地简化数据，从而提高医务人员对图像判读的准确性及效率。本课题中图像预处理方法由图像增强、图像分割组成。
4.1.1图像增强图像增强[2]是进行图像检索的先行步骤，可以用公式来表示，其中是输入图像，是增强后的图像，是对输入图像所进行的操作。本文主要采用直方图均衡化方法来进行图像增强，直方图均衡化是将一已知灰度概率密度分布的图像，经过某种变换变成一幅具有均匀灰度概率密度分布的新图像。与其他方法相比，直方图均衡化方法适用范围广，易于实现，可达到较好的增强效果，暗区中的图像能清楚的显示出来，能够展示更多诊断信息。
4.1.2图像分割医学图像分割是根据医学图像的某种相似性特征将图像划分为若干个互不相交的"连通"区域的过程。医学图像中，大多数情况下都需要对医学图像作分割，来突出需要的目标物体，如病灶。采用sobel算子计算医学图像边缘和阈值，在此基础上修改阈值使边缘更加精确，以此实现图像分割。
4.2神经网络算法（如图3所示）的实现。
基本步骤如下：①确定问题：对问题做出详细的调研，明确目标，然后考虑如何引入粗糙集从而更好地解决问题。②对数据进行收集，即采集经过图像预处理之后得到的特征数据。③数据处理：把要处理的数据建立成一张二维决策表，每一行描述一个对象，每一列描述对象的一种属性。在本步中，如果无法得到完备的数据表，就有必要将信息表进行完备化操作；如果初始数据是连续值，还要经过连续属性离散化操作。④根据粗糙集理论[5]对数据进行属性约简，利用属性重要度去掉数据表中的冗余条件属性，并消去重复的样本。⑤根据上步中得到的训练数据样本设计BP神经网络，根据约简结果确定神经网络的输入层单元数和隐含层节点数。采用一个的3层BP神经网络。隐藏层神经元的传递函数设计为S型正切函数，输出层神经元的传递函数设计为S型对数函数。⑥用约简后形成的学习样本对神经网络进行学习，得到神经网络的权值。然后将测试样本输入网络进行测试，输出最终结果。本算法中，规定BP神经网络的训练指标为0.01，训练次数C<5000次。
4.3蚁群算法的实现（如图4所示）。
[1]蒋历军.应用网格和水印技术对基于内容的肝脏CT图像检索的研究[D].上海交通大学，2009.
[2]冈萨雷斯.数字图像处理（MATLAB版）[M].北京：电子工业出版社，2012.
[3]史元春，徐光祐，高原.中国多媒体技术研究：2011[J].中国图象图形学报，2012.
[4]HZhang，JEFritts，SAGoldman.Imagesegmentationevaluation：Asurveyofunsupervisedmethods[J].ComputerVisionandImageUnderstanding，2008.
[5]蒋世忠，易法令，汤浪平，等.基于图割与粗糙集的MRI脑部肿瘤图像检索方法[J].中国组织工程研究与临床康复，2010.
[6]张小冬.蚁群算法在医学图像识别中的研究与应用[D].扬州大学，2009.
[7]李旭超，刘海宽，王飞，等.图像分割中的模糊聚类方法[J].中国图象图形学报，2012.
[8]VeenmanC，ReindersM，BackerE.ACellularCoevolutionaryAlgorithmforImageSegmentation[J].IEEETransactiononImageProcessing，2003.
关键词：自主角色;神经网络;遗传算法
中图分类号：TP183
文献标识码：A
随着计算机图形学和硬件技术的高速发展，计算机游戏近十几年也取得了很大的发展，游戏软件已成为软件产业中非常重要的内容。游戏的类型主要包括FPS（第一人称射击）、RPG（角色扮演类型）和RTS（即时战略游戏）等几种类型，这些不同类型的游戏都要求游戏控制的角色（NPC）与玩家控制的角色（PLAYER）要有行为的交互，交互的方式直接影响玩家对游戏的兴趣度。因此，对NPC与PLAYER之间的角色交互行为方式的研究已经成为游戏软件中的一个非常重要的研究课题。
目前大多数游戏中的角色行为的交互方式采用的是确定型的交互行为，其特征主要表现在角色的行为都是预先确定的，这种类型的行为实现起来较为简单，也是目前大多数游戏所采用的交互方式。像这种确定性的行为往往体现不出角色的自主性，而且还会导致角色行动单调乏味，其行动很容易被玩家所预测,降低游戏的可玩性。为此,我们需要在游戏软件中设计和实现这样的NPC角色，它能够根据当前环境的变化以及以往的经验知识来动态地改变对PLAYER的行为。具有这种能力的角色，我们称之为自主角色,也称为自适应角色。具有自主和自适应特点的角色可具有推理能力和自适应能力,在游戏环境下可更受玩家的欢迎。
有关自主角色行为的论文已经有很多做出了卓有成效的成绩，如在Reynolds的文献［1］中，对自主角色的群体行为进行了描述。Blumberg和Galyean［2］中引入更多的行为控制机制，并考虑了行为学习这样一个令人感兴趣的问题。对于自主角色的更高层次的认知能力方面，JohnDavidFungc［3］中指出，认知模型是用于创建虚拟世界的模型“金字塔”的顶层，底层的行为模型作为认知模型和物理学模型之间的缓冲区，并将情景演算(situationcalculus)［4］用于高度动态的虚拟世界。
但是，上述各种方法因为侧重点不同，各有优缺点，且相互之间较为独立，因此本文结合上述一些方法的优点，在此基础上提出了基于认知角色建模，采用神经网络和遗传算法相结合的游戏自主角色的设计思路。基于此，各小节安排如下：
第一节确定了基于认知建模方法的游戏自主角色模型；第二节介绍了神经网络在实现自主角色中的应用；第三节说明了遗传算法对神经网络的优化；第四节对自主角色的实验进行了分析。
1基于认知建模的角色自主性模型
由于认知建模方法能够采用精确的数学方式来定义自主角色的行为和学习模式，因此本文采用认知建模方法来对游戏角色的自主性进行建模。这里将游戏中存在的非玩家控制的角色简称为NPC,通过认知建模方法研究NPC的高级行为规划，指导NPC,提高NPC的智能水平能力，使NPC能够对环境作出判断，并根据当前的状态进行推理，进而完成相应的行动序列,有利于创建聪明自主的智能体――具有认知能力的自主的角色。
在计算机游戏中，我们将游戏角色关于他所在世界的内部模型称“认知模型”(CognitiveModel)。认知模型可以用于游戏中，控制一类自主的角色。通过认知模型支配游戏角色对其所在环境的了解程度，如何获取知识，以及如何利用知识选择行动。
NPC的行为分为“预定义的”和“非确定性的”两种，建立的认知模型也各不相同。建立预定义行为的认知模型比较简单，只要将事先定义好的NPC所在环境的领域知识赋予NPC系统，NPC就可以根据人们的要求采取某种行动。而非确定性的行为不容易控制。为了实现人为的控制，我们采取一种折中的方法，即将领域知识和人的指导赋予NPC，使NPC主动地向人们希望它达到的目标发展。可由下面的公式表示:
知识+指导=行为
领域知识能够用来规划目标，而指导对如何达到目标提供一种框架计划。
当然NPC在决定采取什么样的行动时并不需要整个虚拟世界的知识。所以，我们认为NPC的认知模型是角色对其虚拟世界的一种内部简化模型〔simplifiedmodel〕。
为此我们在现有游戏系统之上营造一个通过认知模型定义的高级行为规划器来实现对NPC的行为指导。规划器模型设计如图1所示。
NPC的预定义行为和非确定行为都可以形式化为认知模型，通过认知模型来指导NPC高级行为规划器，由于神经网络在非确定中的强大的学习作用，因此本项目通过神经网络来实现NPC高级行为规划器的三个方面：目标引导、行为协调、约束满足。
2基于人工神经网络的角色自主系统
这里,我们采用的是神经网络中的BP网络作为NPC的感知系统。BP算法是一种用于多层前向网络的学习算法，它包括输入层、输出层和隐含层，隐含层可以是多层结构。BP网络的学习过程包括两个阶段:第一阶段计算前向输出;第二阶段从反向调整连接权矩阵。
在前向传播过程中，输入信息从输入层经隐含层逐层处理，并传向输出层，每一层神经元的输出作为上层神经元的输入.如果在输出层，实际输出值与期望输出值有误差时，则以反向将误差信号逐层修改连接权系数并且反复迭代，最后使实际输出值与期望值的均方差为最小。在修正连接权系数时，通常采用梯度下降算法。
BP神经网络使用的是指导式的学习方法,即在学习过程中,向网络提供有明确输入和输出目标的样本对。BP学习算法是基于最小二乘法LMS算法,运用梯度下降方法,使网络的实际输出与期望输出的均方差最小。网络的学习过程是一种误差边向后传播边修正连接权的过程。因为BP网络对以分类为主要目的的学习非常有效,所以,我们采用BP网络进行NPC分类的自学习。需要输入NPC自主系统中BP网络的特征参数主要是NPC的生命值,NPC的攻击力，NPC的防御力，NPC的情感值等，玩家虚拟角色的生命值,玩家虚拟角色的攻击力，玩家虚拟角色的防御力，玩家虚拟角色的情感值等。
NPC在虚拟游戏环境下，在与玩家的不断交互中刺激着感知系统，在外界环境发生变化时产生认知模型指导下的自主行为，通过神经网络最终演化成具有自主性的行为系统，同时，利用遗传算法使适应度有一定程度的增加，使NPC更适应外界环境的变化。关于NPC的感知系统的设置如下：
1）输入参数的确定
NPC的感知系统由人工神经网络构成，虚拟游戏环境的特征参数作为输入送入神经网络进行学习。在我们的游戏项目中，输入主要包括三种类型：布尔类型、枚举类型和连续类型三种，但是这三种类型都需要转化成神经网络所认可的实数类型。
2）权重的确定
权重有些类似于生物神经网络的树突联结，权重影响了输出变量的值，并且定义了神经网络的行为，实际上训练或者演化神经网络的主要目标就是确定NPC神经网络的权重。为了确定每个输入参数的权重，需要确定激活函数。
3）激活函数的确定
激活函数确定了输入与输出参数之间的映射关系，针对NPC自主角色的神经网络，我们采用的是非线性激活函数，具体采用的是S型激活函数。
3基于遗传算法的神经网络优化
神经网络的基本特征是大规模并行处理、容错性、自适应性和自组织性，适合处理直觉和形象思维信息。神经网络与遗传算法的结合使神经网络的训练有了一个崭新的面貌，目标函数既不要求连续，也不要求可微，仅要求该问题可计算，而且它的搜索始终遍及整个解空间，因此容易得到全局最优解。用遗传算法优化神经网络，可以使得神经网络具有自进化、自适应能力，从而构造出进化的神经网络(ENN)［5］。
研究NPC的进化,要建立NPC在虚拟环境中进行的各种行为模型。另外,同虚拟环境本身也会发生竞争。由于适应度是NPC竞争力大小的直接反映,为了建立NPC的竞争机制,首先要建立NPC的适应度函数。
在环境不发生变化时,NPC的适应度函数F(t)可以用此函数表示:
其中,参数a表示NPC的生命力值;参数k表示NPC的类型,不同的NPC对同一游戏环境的适应性是不一样的,当k取不同的值时,会得到适应度不同的各种NPC。接着按照以下工作步骤操作：
1）从NPC神经网络中提取权重向量；
2）用遗传算法演化出一个新的网络权重群体；
3）把新的权重插入到NPC神经网络；
4）转到第一步进行重复，直至获得理想的性能。
4试验分析
我们的实验测试场景如下：
在一个仿真的三维游戏环境下,游弋着若干个NPC角色和一个玩家控制的虚拟角色,主角可以漫游整个游戏场景,这些NPC当遇到主角后,可能会对主角采取不同的行为,比如攻击行为,逃避行为,团队作战行为,对话行为等,所有这些行为的决策都取自于神经网络的训练。
在采用神经网络算法之前，所有的NPC无论强弱，都会主动向玩家角色发起攻击，而在采用神经网络算法之后，这些NPC都具有了一个人工大脑，每个NPC在与玩家角色的交互过程不断地学习，不断地演化，最终变成自主角色，具体表现在：NPC根据以往与玩家角色交互过程中的经验，从而产生较为理智的行为，比如当NPC感觉玩家的综合实力要高于自己时，它可能会采取逃避的行为，而当NPC感觉其综合实力要高于玩家时，它往往会主动攻击玩家。
表1和表2列举了应用神经网络算法前后的测试数据。
应用神经网络算法所采取的实验方案如下：
(1)对于NPC感知系统的输入，包括与虚拟玩家角色的距离，虚拟玩家的攻击力，防御力，生命力，魔法力，信誉度，NPC自身的攻击力，防御力，生命力，魔法力，信誉度。并将参数归一化，使最终的参数范围位于[-1,1]之间；
(2)对于NPC感知系统的输出，包括躲避，单独攻击，潜伏，召唤同伴，团队攻击等行为。即将神经元的输出元设计成五个，这些行为通过一些标志符来确定，例如，如果代表攻击的输出位为1，则其他位为零。
通过对比两组测试试验,可以发现后一组试验中,NPC能够根据自己的实力和玩家的实力对比，理智的采取一些行为（比如退避，呼唤同伴协同作战）而不是一味盲目攻击，NPC的存活率显然就很高，因此也显得较为智能。
[关键词]小波神经网络电阻率仪器温度补偿算法
1、前言
在实际的现场工矿条件中，油层温度远高于地面正常的环境温度，在一定范围内造成仪器的测量数据产生温度漂移，不能准确地反映真实的地层参数，这直接影响到定向工程。为了消除这种测量误差，本文介绍一种基于小波神经网络的算法来实现电阻率温度补偿，并通过实际的测量数据修正结果证实了能够最大限度地消除温度造成的测量误差。
2、理论基础
由于温度造成的测量数据偏差已经影响到仪器正常的工作，为了消除其对MRC仪器输出的影响，达到输出电压与各个易感器件产生的连带误差最小的目标，采用一种算法去逼近真正的测量值。本文拟采用基于小波分析和前馈神经网络，其所构成的数学模型结合了小波变换良好的时域局域化性质及神经网络的自学习功能，通过对网络特征的分析处理，将学习向量的内积和小波基迭代计算，以实现函数逼近的目标。小波网络因其良好的非线性映射能力和较强的容错逼近特性，能够逼近特定性质的非线性曲线[2]。
如图1所示：
2.1小波神经网络
小波神经网络的学习，是用已定位的小波元代替神经元作为网络的激活函数，通过小波网络提供区别函数的多分辨近似，非平稳信号分析和神经网络的自学习的并行处理。利用神经网络数据正向传递与误差的反向传播算法，计算输出层的误差变化值。同时选取适当的小波作特征提取，在其特征空间选取最佳的小波基，通过伸缩和平移因子，加快网络学习和收敛速度。本文采用的是以小波函数为隐层节点的基函数的神经网络，进行随钻仪器电阻参数温度补偿的研究。
小波分析的定义：在函数空间中选择母小波函数S（x），此函数需要满足相容性条件。
对小波函数S（x）进行伸缩变换和平移变换得到小波基函数，其公式如下：
其中自变量（a，b）是伸缩因子和平移因子。小波级数把函数f（x）分解成不同频率的组合。
符号“<>”表示内积，和称为小波系数。
2.2小波神经网络结构及算法
本文采用小波神经网络结构如图2所示
该网络输入神经元代表的是不同温度下测量节点的采样数值，将此学习样本输入到神经网络，隐层的激励函数采用的是Morlet小波，选用的依据是其对隐层基函数的正交性要求较低，具有较高的时频域分辨能力，同时满足相容性条件，能有效地提高学习逼近的速度和准确性。
小波神经网络训练算法流程图如图3所示：开始网络化参数初始输入学习样本和期望输出小波网络学习，计算网络实际输出网络误差学习次数T
三、仪器温度补偿实例
仪器发射线圈流过的电流产生磁场，通过井眼和周围的底层传播到两个接受线圈，采集其测量时序和信号幅度，从而来计算此地层的电阻率值。在实际的测量计算中，选用相位差和幅度比来实现。设定常温到120度之间的试验需求样本数据，通过网络学习所达到的实测数据。网络学习的收敛速度也满足了预期的效果，同时满足了设定的误差范围。在仪器测量的实际运行中提高了测量稳定性和容错性。
[1]焦李成.神经网络系统理论[M].西安电子科技大学出版社，1990.
关键词：树叶识别；支持向量机；卷积神经网络
Abstract：Inthispaper，theconvolutionneuralnetworkrecognitionintheleaves，andtheprocessbyconvolutionofimagevisualization.Experimentsshowthattheneuralnetworkapplicationidentificationconvolutionleavesa92%recognitionrate.Inaddition，thisneuralnetworkandsupportvectormachinecomparativestudycanbedrawnfromthestudy，convolutionalneuralnetworkineitherspeedoraccuracybetterthansupportvectormachines，visible，convolutionneuralnetworkintheleavesaspecthasgoodapplicationprospects.
Keywordsrecognitionleaves；SVM；convolutionalneuralnetwork
1概述
上世纪60年代开始，学者们相继提出了各种人工神经网络[3]模型，其中卷积神经网络由于其对几何、形变、光照具有一定程度的不变形，因此被广泛应用于图像领域。其主要特点有：1）输入图像不需要预处理；2）特征提取和识别可以同时进行；3）权值共享，大大减少了需要训练的参数数目，是训练变得更快，适应性更强。
2人工神经网络
人工神经网络方面的研究很早就已开展，现在的人工神经网络已经发展成了多领域、多学科交叉的独立的研究领域。神经网络中最基本的单元是神经元模型。类比生物神经元，当它“兴奋”时，就会向相连的神经元发送化学物质，从而改变这些神经元的状态。人工神经元模型如图1所示：
上述就是一个简单的神经元模型。在这个模型中，神经元接收来自n个其他神经元传递过来的输入信号，这些信号通过带权重的w进行传递，神经元接收到的总输入值将与神经元的阈值进行比较，然后通过“激活函数”来产生输出。
一般采用的激活函数是Sigmoid函数，如式1所示：
[σz=11+e-z]（1）
该函数图像图2所示：
2.1多层神经网络
将上述的神经元按一定的层次结构连接起来，就得到了如图3所示的多层神经网络：
2.2卷积神经网络
3实验研究
为了将LeNet-5卷积网络用于树叶识别并检验其性能，本文收集了8类树叶的图片，每一类有40张照片，如图5所示的一张树叶样本：
本文在此基础上改进了模型，使用了如图6卷积神经网络模型：
在此模型中，第一个卷积层是由6个特征映射构成，每个特征映射是一个28*28的神经元阵列，其中每个神经元负责从5*5的区域通过卷积滤波器提取局部特征，在这里我们进行了可视化分析，如图7所示：
从图中可以明显地看出，卷积网络可以很好地提取树叶的特征。为了验证卷积神经网络与传统分类算法之间的性能，本文基于Python语言，CUDA并行计算平台，训练同样大小8类，一共320张的一批训练样本，采用交叉验证的方法，得到了如表1所示的结论。
4总结
本文的研究可以归纳为探讨了卷积神经网络在树叶识别上的效果，并对比了传统经典图像分类算法，取得了较好的分类精度。
然而，本文进行实验的样本过少，当数据集过多的时候，这个卷积神经网络算法的可行性有待我们进一步的研究；另外，最近这几年，又有很多不同的卷积神经网络模型出现，我们会继续试验其他的神经网络模型，力求找到更好的分类算法来解决树叶识别的问题。
[1]BellA，SejnowskiT.AnInformation-MaximizationApproachtoBlindSeparationandBlindDeconvolution[J].NeuralComputation，1995，7（6）：1129-59.
[2]AltmanNS.AnIntroductiontoKernelandNearest-NeighborNonparametricRegression[J].AmericanStatistician，1992，46（3）：175-185.
[3]RipleyBD，HjortNL.PatternRecognitionandNeuralNetworks[M].Patternrecognitionandneuralnetworks.CambridgeUniversityPress，，1996：233-234.
[4]LécunY，BottouL，BengioY，etal.Gradient-basedlearningappliedtodocumentrecognition[J].ProceedingsoftheIEEE，1998，86（11）：2278-2324.
关键字：神经网络；粒子群；信息共享；全局搜索；寻优
Self-disciplineNeuralNetworkEqualizationAlgorithmBasedontheParticleSwarm
ZHAOHuiqing
（DepartmentofInformationScience，XinhuaCollegeofSunYat-senUniversity，Guangzhou510520，China）
Abstract：Existingneuralnetworkhasalargenetworkerror.Inresponsetothisproblem，thepaperputsforwardself-disciplineneuralnetworkequalizationalgorithmbasedontheparticleswarm.Theeffectonneuralnetworkoptimizationisrealizedaccordingtotheinformationsharingandglobalsearchfeatureofparticleswarm.Andinordertomaintaingoodaccuracy，appropriatenetworkconstraintsarealsoimposed.Theresultsshowthattheexperimentresultsarebasicallyconsistentwiththeexpectedresults.Itcanmaintaingoodaccuracyatdifferentchannel.
Keywords：NeuralNetwork；ParticleSwarm；InformationSharing；GlobalSearch；Optimization
从20世纪80年代中期以来，神经网络以其好的自组织与自学习的独特优势，现已广泛地应用于通信领域[1-3]。但通过研究现有的神经网络则不难发现，该系统在实际运用中过度依赖于训练算法与初始权值，从而导致算法陷入了局部的最优化；为此，人们提出了许多解决方案[4-7]。其中，基于粒子群优化算法的神经网络算法尤为突出；算法通过结合群体中粒子间的合作与竞争关系，来促使网络群体的智能寻优；这在很大程度上解决了算法的局部最优化问题[8-9]。但在实际的运用过程中，又进一步发现，算法依然存在需要改进的地方，即网络的适用性较小且精度不高等问题。
为此，本文提出了一种具有自我约束能力的粒子群神经网络均衡算法。算法依据神经网络与粒子群算法的特点[10]，将神经网络算法与粒子群算法有机地结合在一起，并通过两者间的互补，来提高网络的整体效率。研究中为了避免算法出现局部最优化问题，本文对网络中的搜索粒子进行了速度的约束；而后，为保证算法的稳定性与精确性，又对网络的搜索进行了约束，由此而保障每一网络路径的有效畅通。经由仿真实验，该算法能够获得相比其他算法更高的精度，且其实际应用性也更强。
1.神经网络
神经网络通过模仿动物的行为特征，进而实现分布式并行信息处理；这一方法有效地解决了网络的信息传输问题，通过依靠网络系统的复杂程度与各节点的连通性，实现了大量数据的传输问题[11]。其中，神经网络的结构大致可以分为三层，即输入层，隐含层以及输出层。
假设为输入层到隐层的连接权重，为隐层到输出层的连接权重，其中，。其数据传输原理与结构图如图1所示。
图1神经网络结构图
Fig.1Neuralnetworkstructurediagram
在图1的神经网络中，隐层函数如式（1）所示：
（1）
输出层函数如式（2）所示：
（2）
其中，为隐层的输入，而为隐层的输出；为输出层的输入，而为输出层的输出。表示输出层的输入与输出间的传递函数，而表示隐层的输入信号进行的小波变换。
2粒子群优化的网络均衡处理
2.1初始化
初始化粒子在当前网络中的所在位置，令其在最初就以随机分布的方向进行定义，即，其中每个随机产生的粒子都代表一个均衡器的一个权向量。同时再令初始位置为，初始速度为；为了便于后文的计算，在此，定义为当前网络中的局部极值；而则是代表当前网络中的全局极值。
2.2速度和位置更新
速度与位置的更新在粒子群优化（PSO）算法中是至重要的参数指标项。为此，本文提出一个局部与全局的最佳粒子的搜索信息传递速度与位置更新函数，如式（3）所示。
（3）
其中，为粒子速度的n个维度，为0到1之间的随机数，为比例因子，而、为局部最佳粒子与全局最佳粒子的扩展因数。基于此，为了保证其搜索的准度，对粒子的速度进行了限制，即当搜索的粒子速度超过设计的限定速度时，将对速度进行抑制，其方法的表达函数为：
（4）
2.3网络的约束
本文采用网络的覆盖概率和宽度间隔对当前网络进行评价，具体求取方式论述如下。
2.3.1区间的覆盖概率
网络的覆盖概率（）是衡量网络适应与否的指标，可做如下定义：
（5）
其中，m×n是样品数量；当，目标；其他的情况下，，而、则为目标的最小值与最大值。
2.3.2区间的宽度间隔
（6）
其中，R为潜在目标的范围。
而对于方根误差，本文则是用于评价器成功演绎训练来的指标，通过对预测区间内归一化的方根宽度进行定义，来提高神经网络训练的效果，其定义函数如下。
（7）
2.3.3约束条件
在实际的运用中，上述提及的覆盖概率与宽度间隔存在一定的矛盾关联，为此需要进行制衡匹配，来提高网络的整体处理效果。本文中，使用的宽度标准如下所示。
（8）
其中，训练满足；但作为测试样品时，为阶跃函数，并需满足如下条件。
其中，、皆为常数，用于惩罚网络覆盖现象的发生。
3仿真算法
为验证算法的可行性，本文在Matlab2014a软件环境下进行测试，并进行了多组实验。实验中选用的对比算法有传统的神经网络算法与文献[12]中的算法；同时又选用两种不同的信道进行测试，具体传输函数如下所示。
普通信道：
为检验算法的精度，本文选用误码率进行算法的评价，通过采用上述指定的算法进行测试，测试中以正方形曲线代表传统的神经网络算法，圆形曲线代表文献算法，而三角形图像代表本文算法。实验仿真结果如图2、图3所示。
Fig.2Biterrorrateintelephonechannel
图3普通信道下的误码率
Fig.3Biterrorrateundercommonchannel
提出了一种提升网络精度的神经网络均衡算法，该算法通过结合粒子群的特性，利用粒子的速度来避免粒子速度过大的造成的数据丢失现象；最后，根据网络的区间覆盖率与间隔宽度等条件对网络进行寻优约束；经实验验证，该算法具有较好的搜索精度，但在算法的搜索效率方面仍有较大的提升空间，这将作为下一步的研究方向，用于开展深入研究。
[1]RICHARDSONF，REYNOLDSD，DEHAKN.DeepNeuralNetworkapproachestospeakerandlanguagerecognition[J].IEEESIGNALPROCESSINGLETTERS，2015，22（10）：1671-1675.
[2]WANGLB，MENGZ，SUNYZ，etal.Designandanalysisofanovelchaoticdiagonalrecurrentneuralnetwork[J].COMMUNICATIONSINNONLINEARSCIENCEANDNUMERICALSIMULATION，2015，26（1-3）：11-23.
[3]ZHOUXH，ZHOUWN，YANGJ，etal.Anovelschemeforsynchronizationcontrolofstochasticneuralnetworkswithmultipletime-varyingdelays[J].NEUROCOMPUTING，2015，159：50-57.
[4]SONGQK，ZHAOZJ，LIUYR.Stabilityanalysisofcomplex-valuedneuralnetworkswithprobabilistictime-varyingdelays[J].NEUROCOMPUTING，2015，159：96-104.
[5]LIUH，BANXJ.Clusteringbygrowingincrementalself-organizingneuralnetwork[J].EXPERTSYSTEMSWITHAPPLICATIONS，2015，42（11）：4965-4981.
[6]JIANGMH，MEIJ，HUJH.Newresultsonexponentialsynchronizationofmemristor-basedchaoticneuralnetworks[J].NEUROCOMPUTING，2015，156：60-67.
[7]XIONGT，BAOYK，HUZY，etal.Forecastingintervaltimeseriesusingafullycomplex-valuedRBFneuralnetworkwithDPSOandPSOalgorithms[J].INFORMATIONSCIENCES，2015，305：77-92.
[8]AGRAWALRK，BAWANENG.MultiobjectivePSObasedadaptionofneuralnetworktopologyforpixelclassificationinsatelliteimagery[J].APPLIEDSOFTCOMPUTING，2015，28：217-225.
[9]KRZYSZTOFP，ARKADIUSZL.EncodingsymbolicfeaturesinsimpledecisionsystemsoverontologicalgraphsforPSOandneuralnetworkbasedclassifiers[J].NEUROCOMPUTING，2014，144：338-345
[10]TUJJ，ZHANYZ，HANF.RadialbasisfunctionNeuralNetworkoptimizedbyParticleSwarmOptimizationAlgorithmcouplingwithpriorinformation[J].JOURNALOFCOMPUTATIONALANDTHEORETICALNANOSCIENCE，2013，10（12）：2866-2871.
关键词：全卷积神经网络；显著性预测；缩略图生成
2算法设计
为生成面向图像信息的自适应缩略图，该方法由两部分组成。第一部分为图像识别模块，主要工作是得到图像的显著性图；第二部分为自适应滑动窗口模块，主要工作是得到窗口内平均显著度最强的窗口坐标。
2.1显著性A测
该文在缩略图截取区域识别阶段采用显著性预测算法作为识别手段。显著性预测是目前非常活跃并正在不断取得突破性进展的机器视觉领域下的一个子领域，是一种模拟人类注意力机制的算法。其主要目标是对图像（画面）中吸引人注意的地方（显著性区域）进行自动的识别与提取，并生成与输入图像尺度对应的一张灰度图。其生成的灰度图中的高亮度区域代表具有显著性物体，如汽车、人脸、字母等，并且服从高斯分布。根据特征融合理论（FeatureIntegrationTheory），目前已有多种基于卷积神经网络的显著性预测算法被提出（如DeepFix、SALICON等），并极大的提高了显著性识别的精度。
2.2卷积神经网络概述
为生得到面向内容的缩略图截取坐标，首先需要对图像内容进行识别，并对图像每个区域的重要程度进行分类。近年来由于GPU并行运算性能的突破性进步以及基于大数据技术的训练数据集扩充，深度卷积神经网络（DeepConvolutionalNeu-ralNetworks，DCNNs）在包括图像识别、目标跟踪及显著性预测等多个图像处理领域上的任务都取得了极大的提升。而预训练参数（Pretraining）与转移学习（TransferLearning）等技术进一步提升了CNNs在多项图像处理任务中的泛化能力及可用性，因此该文采用截断VGG19模型为预训练网络，进行显著点识别及缩略图。全卷积神经网络与传统的全连接神经网络类似，均采用梯度下降算法对权值进行更新。不同点在于，全卷积神经网络每次更新的值包括卷积核的值以及该卷积核的权值。
2.3网络结构
该文所采用的全卷积神经网络采用截断的VGGl9预训练模型的前10层组成。VGGl9由进行图像识别（物体分类）的ImageNet数据集训练而成，可精确识别数据集中1000中物体分类，故其所学习的卷积核参数包含有丰富的物体信息。
其中网络的具体成分主要由10层卷积模块及3层最大池化层组成，而卷积模块依次由一层卷积层，一层批量归一化层以及一层ReLU（RectifiedLinearUnit）激活函数层组成。其中前8层卷积层由普通3×3大小，1×1步长的卷积核组成，后两层卷积层由带2×2洞的3×3大小（故实际感受野为5×5），步长1×1的卷积核组成。
网络结构如图1所示。
2.4缩略图生成
由全卷积神经网络识别并得到的显著性图为灰度值为0-255的灰度图，大的灰度值代表高显著性激活度。在得到对应图像的显著性图之后，方法采用步长为10像素的滑动窗口对显著性图进行遍历，并选择所窗口内激活程度最高的区域所处坐标作为缩略图截取坐标。对于有多个相同激活值的区域则选取距离图像中心最近的区域所处坐标为缩略图截取坐标。最后通过对原始输入图像中对应缩略图截取坐标进行截取，得到最终缩略图。
3实验设计
根据算法流程，该方法中实验设计也可分为两部分：第一部分为训练用于得到显著点坐标的全卷积神经网络，第二部分为设计并实现基于显著性图的动态步长滑动窗口方法。
3.1网络参数及训练数据设置
该方法训练数据选自开放数据集MIT1003及SALI-CONt31。实验采用批量训练方法，每批数据由128个样本组成，共训练2000个批次。网络采用绝对平均误差（MeanAbsoluteError，MAE）为损失函数（如公式1所示），并采用改进的梯度下降算法Adam算法进行权值更新，以提高网络鲁棒性及收敛性。网络收敛曲线如图2所示。
3.2滑动窗口设计
3.3实验结果
图3对所提方法得到的缩略图进行了直观展示。从中可知所提方法在缩略图生成的过程中对图像本身信息进行了有效提取且得到了有效的显著性图，并由该显著性图通过滑动窗口得到了缩略图所需的正确截取坐标。最后得到的缩略图对于原图像本身信息具有高代表性，且并未损失分辨率信息。
Abstract：Bymodelingandneuralnetwork，webuiltthepredictionsystemofgeneticneuralnetwork.Throughacomprehensiveanalysisofvariousfactorsofvibratorandfusion，geneticalgorithmisusedtocopy，exchange，sothepredictionsystemcangreatlyimprovetheconvergencespeed，itsuseandpracticalengineeringusingstrong.
关键词：神经网络；振冲器；预测；算法
Keywords：nervenet；vibratingequipment；forecast；arithmetic
1振冲器性能预测原理
振冲器原理；振冲器是借助于偏心块在定轴旋转时的离心力，使整个振冲器产生具有一定频率和振幅的激振力，对软弱地基进行加固处理。用振动辅以压力水加密砂土的概念，最早是由德国的斯徒门在1936年提出的。1937年德国凯勒（J·Keller）公司研制成功第一台振冲器如图1和图2。在三十年代和四十年代初，就开始用这种机具加固砂性地基。六十年代，德国和英国相继有人将这一加固技术应用到粘性土地基的加固中。随后，在美国成立了振冲工程技术公司，承包一些工程。同时日本和苏联也引进了这一技术，如苏联在埃及尼罗河上修建的阿斯旺水坝就采用了振冲法加固坝基。七十年代，我国也引进了该项技术，并在许多软基加固工程中得到应用[1-3]。
振冲器一般由激振器、减震器和潜水电机组成[4]。
偏心块以等角速度？棕旋转，其质心O'与转轴轴心O存在偏心距e。旋转时，激振力使得振冲器产生间歇振动。[4]
OC是激振器的振幅，其质心C的运动方程为：
Xc=OC·cos？棕t（1）
Yc=OC·sin？棕t（2）
由于激振器做等角速度转动，根据平衡方程，振幅A应该是：
A=OC=■·e（cm）（3）
公式中e为偏块质心的偏心距，W为偏心块的重量，Q为激振器壳体部分总重量
如果将振冲器在土体的振动视为有粘性阻尼的单自由度的强迫振动，其振幅为：
A=■（m）（4）
其中？棕Z为土体自转原频率；DZ为土体阻尼比。
2神经网络算法[1]
从结构讲，三层BP网络是一个典型的半线性层次网络。此法的思路：先通过神经元向前发送输入模式，然后计算理想输出与实际输出的误差，将其看作连接层各连接点的误差，通过输出反向到输入层再分摊给各节点，从而可以算出各个节点的参考误差，并且对各个节点进行调整，使得达到要求的映射范围。通过多次不断的迭代，使得误差不断减小，直到获得期望的输出，网络训练即为结束[6-7]。
采用遗产算法的交换、复制过程，来代替BP算法过程，可以加快了收敛的速度，但也可能是会造成收敛性过早，所以我们改进一些措施，来提高算法的指标：
（1）将网络中的输入层与隐含层、隐含层与输出层之间的权值以及节点处阈值按权值优先的原则进行排列成网络。
（2）BP网络中权重参数的调整是沿着误差函数的梯度方向下降，但由于此种方法偏离的误差的最小点方向，采取变梯度算法的第一次迭代都是沿着最陡梯度下降方向开始进行搜索的。采用最佳距离的线性搜索是沿着当前搜索的方向进行。
（3）神经网络遗传算法中个体复制是依据适应性的原则，适应性大的进行复制，小的剔除。
复制的概率公式：
Pr=Ar1-1/■+■[3]（5）
Pc=Ac1■+Ac2（1.2-Bk/Ba）（6）
在公式（5）和公式（6）中AK为计算的单元个体适应度，Ba为整体中适应度相对较好的前一半的个体适应度，Ac1和Ac2是交换系数，Ar1和Ar2是复制系数。
3算例
检测50组数据作为训练样本及10组数据用于网络性能测试。每组数据由动力矩、激振力、电机功率、频率四个参数组成，作为神经网络的输入；神经网络的输出为振冲器及施工做出的桩体的预测结果，分别为短路、串桩、堵孔、正常、填料量少等5个单元。
试验结果和预测如表2，系统经356次迭代，代入试验样本检验，正确率为90%；未修正的方法需迭代740次，正确率为85%，所以此方法迭代快，准确率高。
4结论
[1]MartinTHagan，HowardBDemuth，MarkHBeale.神经网络设计[M].戴葵，伯民，译.北京：机械工业出版社，2002：214.
[2]董恩国.基于遗传神经网络算法的发动机性能预测[J].起重运输机械，2005（9）.
[3]杨振强，王常虹.自适应复制、交叉和突变的遗传算法[J].电子科学学刊，2000（1）：112-117.
[4]孙述祖.振冲器参数的研究分析[J].建筑机械，1987（07）.
[5]施鸿宝.神经网络及其应用1西安：西安交通大学出版社，1993.
Fastself-organizinglearningalgorithmbasedonEKFforfuzzyneuralnetwork
ZHOUShang-bo，LIUYu-jiong
(CollegeofComputerScience，ChongqingUniversity，Chongqing400044，China)
Abstract:Toconstructaneffectivefuzzyneuralnetwork，thispaperpresentedaself-organizinglearningalgorithmbasedonextendedKalmanfilterforfuzzyneuralnetwork.Inthealgorithm，thenetworkgrewrulesaccordingtotheproposedgrowingcriteriawithoutpruning，speedinguptheonlinelearningprocess.AllthefreeparameterswereupdatedbytheextendedKalmanfilterapproachandtherobustnessofthenetworkwasobviouslyenhanced.Thesimulationresultsshowthattheproposedalgorithmcanachievefastlearningspeed，highapproximationprecisionandgenerationcapability.
Keywords:fuzzyneuralnetwork;extendedKalmanfilter(EKF);self-organizinglearning
模糊神经网络起源于20世纪80年代后期的日本，由于其简单、实用，已经被广泛应用在工业控制、系统辨识、模式识别、数据挖掘等许多领域[1~4]。然而，如何从可用的数据集和专家知识中获取合适的规则数仍然是一个尚未解决的问题。为了获取模糊规则，研究人员提出了不同的算法，如文献[5]利用正交最小二乘算法确定径向基函数的中心，但是该算法训练速度比较慢;文献[6]提出了基于径向基函数的自适应模糊系统，其算法使用了分层自组织学习策略，但是逼近精度低。扩展卡尔曼滤波(EKF)算法作为一种非线性更新算法，在神经网络中得到了广泛应用。文献[7]利用扩展卡尔曼滤波算法调整多层感知器的权值，文献[8]利用扩展卡尔曼滤波算法调整径向基函数网络的权值。
本文提出了一种模糊神经网络的快速自组织学习算法(SFNN)。该算法基于无须修剪过程的生长准则增加模糊规则，加速了网络学习过程，同时使用EKF调整网络的参数。在该算法中，模糊神经网络结构不是预先设定的，而是在学习过程中动态变化的，即在学习开始前没有一条模糊规则，在学习过程中逐渐增加模糊规则。与传统的模糊神经网络学习算法相比，本算法所得到的模糊规则数并不会随着输入变量的增加而呈指数增长，特别是本算法无须领域的专家知识就可以实现对系统的自动建模及抽取模糊规则。当然，如果设计者是领域专家，其知识也可以直接用于系统设计。本算法所得到的模糊神经网络具有结构小、避免出现过拟合现象等特点。
本文采用与文献[9]相似的网络结构，如图1所示。其中，r是输入变量个数;xi(i=1，2，…，r)是输入语言变量;y是系统的输出;MFij是第i个输入变量的第j个隶属函数;Rj表示第j条模糊规则;wj是第j条规则的结果参数;u是系统总的规则数。
第二层:隶属函数层。每个节点代表一个隶属函数，隶属函数采用如下的高斯函数:
μij=exp(-(xi-cij)2σ2ij);i=1，2，…，r;j=1，2，…，u(1)
其中:r是输入变量数;u是隶属函数个数，也代表系统的总规则数;μij是xi的第j个高斯隶属函数;cij是xi的第j个高斯隶属函数的中心;σij是xi的第j个高斯隶属函数的宽度。
第三层:T-范数层。每个节点代表一个可能的模糊规则的IF-部分，也代表一个RBF单元，该层节点个数反映了模糊规则数。如果计算每个规则触发权的T-范数算子是乘法，则在第三层中第j条规则Rj的输出为
φj=exp(-ri=1(xi-cij)2σ2ij);j=1，2，…，u(2)
第四层:输出层。该层每个节点代表一个输出变量，该输出是所有输入变量的叠加。
y(X)=uj=1wjφj(3)
其中:y是网络的输出;wj是Then-部分。
如前文所述，第三层的每个节点代表一个可能的模糊规则的IF-部分或者一个RBF单元。如果需要辨识系统的模糊规则数，则不能预先选择模糊神经网络的结构。于是，本文提出一种新的学习算法，该算法可以自动确定系统的模糊规则并能达到系统的特定性能。
在模糊神经网络中，如果模糊规则数太多，不仅增加系统的复杂性，而且增加计算负担和降低网络的泛化能力;如果规则数太少，系统将不能完全包含输入/输出状态空间，将降低网络的性能。是否加入新的模糊规则取决于系统误差、可容纳边界和误差下降率三个重要因素。
误差判据:对于第i个观测数据(xi，ti)，其中xi是输入向量，ti是期望输出，由式(3)计算网络现有结构的全部输出yi。
定义:ei=ti-yi;i=1，2，…，n(4)
如果ei>keke=max[emax×βi，emin](5)
则说明网络现有结构的性能比较差，要考虑增加一条新的规则;否则，不生成新规则。其中:ke是根据网络期望的精度预先选择的值;emax是预定义的最大误差;emin是期望的输出精度;β(0
可容纳边界:对于第i个观测数据(xi，ti)，计算第i个输入值xi与已有RBF单元的中心cj之间的距离di(j)，即
di(j)=xi-cj;i=1，2，…，n;j=1，2，…，u(6)
di，min=argmin(di(j))(7)
如果di，min>kd，kd=max[dmax×γi，dmin](8)
则说明已存在的输入隶属函数不能有效地划分输入空间。因此，需要增加一条新的模糊规则，否则，观测数据可以由已存在的距离它最近的RBF单元表示。其中:kd是可容纳边界的有效半径;dmax是输入空间的最大长度;dmin是所关心的最小长度;γ(0
传统的学习算法把误差减少率(ERR)[5]用于网络生长后的修剪过程，算法会因为修剪过程而增加计算负担，降低学习速度。本文把误差减少率用于生长过程形成一种新的生长准则，算法无须经过修剪过程，从而加速网络的学习过程。
给定n个输入/输出数据对(xi，ti)，t=1，2，…，n，把式(3)看做线性回归模型的一种特殊情况，该线性回归模型为
t(i)=uj=1hj(i)θj+ε(i)(9)
D=HΘ+E(10)
对于矩阵φ，如果它的行数大于列数，通过QR分解:
可把H变换成一组正交基向量集P=[p1，p2，…，pu]∈Rn×u，其维数与H的维数相同，各列向量构成正交基，Q∈Ru×u是一个上三角矩阵。通过这一变换，有可能从每一基向量计算每一个分量对期望输出能量的贡献。把式(11)代入式(10)可得
D=PQΘ+E=PG+E(12)
G的线性最小二乘解为G=(PTP)-1PTD，或
gk=pTkDpTkpk;k=1，2，…，u(13)
Q和Θ满足下面的方程:
QΘ=G(14)
当k≠l时，pk和pl正交，D的平方和由式(15)给出:
DTD=uk=1g2kpTkpk+ETE(15)
去掉均值后，D的方差由式(16)给出:
n-1DTD=n-1uk=1g2kpTkpk+n-1ETE(16)
由式(16)可以看到，n-1uk=1g2kpTkpk是由回归量pk所造成的期望输出方差的一部分。因此，pk的误差下降率可以定义如下:
errk=g2kpTkpkDTD，1≤k≤u(17)
errk=(pTkD)2pTkpkDTD，1≤k≤u(18)
式(18)为寻找重要回归量子集提供了一种简单而有效的方法，其意义在于errk揭示了pk和D的相似性。errk值越大，表示pk和D的相似度越大，且pk对于输出影响越显著。利用ERR定义泛化因子(GF)，GF可以检验算法的泛化能力，并进一步简化和加速学习过程。定义:
GF=uk=1errk(19)
θi=θi-1
ti=h(θi-1，Xi)+ei(20)
在当前的估计值i-1处将非线性函数h(θi-1，Xi)展开，则状态模型可以重写为
ti=Hiθi-1+εi+ei(21)
其中:εi=h(i-1，Xi)-Hii-1+ρi。Hi是如下的梯度向量:
Hi=h(θ，Xi)θ|θ=i-1(22)
Ki=Pi-1HTi[HiPi-1HTi+Ri]-1
θi=θi-1+Ki(ti-h(θi-1，Xi))
Pi=Pi-1-KiHiPi-1+Qi(23)
其中:Ki是卡尔曼增益矩阵;Pi是逼近误差方差阵;Ri是量测噪声方差阵;Qi是过程噪声方差阵。
全局扩展卡尔曼滤波算法会涉及大型矩阵运算，增加计算负担，因此可以将全局问题划分为一系列子问题从而简化全局方法。网络的前件部分具有非线性特性，利用扩展卡尔曼滤波算法对其进行调整;网络的后件部分具有线性特性，利用卡尔曼滤波算法对其进行调整，该方法等同于将全局方法简化为一系列解耦方法，可以降低计算负担。由于高斯函数的中心对系统的性能影响不明显，为了简化计算，只对高斯隶属函数的宽度进行调整。
Kδi=Pδi-1GTi[Ri+GiPδi-1GTi]-1
δi=δi-1+Kδi(Ti-wi-1φi)
Pδi=Pδi-1-KδiGiPδi-1+Qi(24)
Kwi=Pwi-1φTi[Ri+φiPwi-1φTi]-1
wi=wi-1+Kwi(Ti-wi-1φi)
Pwi=Pwi-1-KwiφiPwi-1+Qi(25)
在SFNN学习算法中，模糊规则增加过程如下:
a)初始参数分配。当得到第一个观测数据(X1，t1)时，此时的网络还没有建立起来，因此这个数据将被选为第一条模糊规则:c0=X0，δ1=δ0，w1=t1。其中δ0是预先设定的常数。
b)生长过程。当得到第i个观测数据(Xi，ti)时，假设在第三层中已存在u个隐含神经元，根据式(4)(7)和(19)，分别计算ei、di，min、GF。如果
ei>ke，di，min>kd，且GF
则增加一个新的隐含神经元。其中ke、kd分别在式(5)和(8)中给出。新增加的隐含神经元的中心、宽度和权值赋值为:Cu+1=Xi，δu+1=k0di，min，wu+1=ei，其中k0(k0>1)是重叠因子。
c)参数调整。当增加新神经元后，所有已有神经元的参数通过式(24)(25)描述的算法调整。
x(t+1)=(1-a)x(t)+bx(t-τ)1+x10(t-τ)(27)
为了能够与文献[5，6]在相同的基础上进行比较，取值Δt=P=6，式(27)中的参数选择为:a=0.1，b=0.2，τ=17。预测模型表示为
x(t+6)=f[x(t)，x(t-6)，x(t-12)，x(t-18)](28)
SFNN采用在线学习方法、参数估计和结构辨识同时进行，提高了网络的学习速度。基于该方法生成的模糊神经网络具有紧凑的结构，网络结构不会持续增长，避免了过拟合及过训练现象，确保了系统的泛化能力。
HUANGHuan，WUCong-xin.Approximationcapabilitiesofmultilayerfuzzyneuralnetworksonthesetoffuzzy-valuedfunctions[J].InformationSciences，2009，179(16):2762-2773.
[2]DENGXing-sheng，WANGXin-zhou.Incrementallearningofdynamicfuzzyneuralnetworksforaccuratesystemmodeling[J].FuzzySetsandSystems，2009，160(7):972-987.
[3]韦玉科，汪仁煌，李江平，等.一种新的数据智能化处理算法[J].计算机应用研究，2008，25(5):1328-1329.
[4]CHENSheng，HONGXia，LUKBL，etal.Orthogonal-least-squaresregression:aunifiedapproachfordatamodeling[J].Neurocompu-ting，2009，72(10-12):2670-2681.
[5]CHENS，COWANCFN，GRANTPM.Orthogonalleastsquareslearningalgorithmforradialbasisfunctionnetworks[J].IEEETransonNeuralNetworks，1991，2(2):302-309.
[6]CHOKB，WANGBH.Radialbasisfunctionbasedadaptivefuzzysystemsandtheirapplicationstosystemidentificationandprediction[J].FuzzySetsandSystems，1996，83(3):325-339.
[7]RIVALSI，PERSONNAZL.ArecursivealgorithmbasedontheextendedKalmanfilterforthetrainingoffeedforwardneuralmodels[J].Neurocomputing，1998，20(1):279-294.
[8]SIMOND.TrainingradialbasisneuralnetworkswiththeextendedKalmanfilter[J].Neurocomputing，2002，48(1):455-475.
[9]WUShi-qian，ERMJ，GAOYang.Afastapproachforautomaticgenerationoffuzzyrulesbygeneralizeddynamicfuzzyneuralnetworks[J].IEEETransonFuzzySystems，2001，9(4):578-594.