泵的性能预测研究就是根据泵的叶轮、蜗壳、导叶等过流部件的几何参数,分析内部流动特征,以此预测泵的性能,是在泵产品设计中必不可少的重要环节,具有缩短研发周期、降低开发成本和提高产品设计质量等优点。针对离心泵的性能研究不但具有重要的学术价值和社会效益,而且对研究其他泵的性能提供了可资借鉴的依据。
一、GA-RBF神经网络简介
GA-RBF神经网络是将遗传算法引入到前馈式神经网络(RBF)发展起来的一种神经网络。作为三层前向网路的RBF神经网络,由输入层、径向基层(RBF层)和输出层构成,它利用RBF作为隐含单元的“基”构成隐含空间,输入矢量不需要通过权连接直接进入隐含层,只要能够确定RBF的中心点,就能够确定其相应的映射关系,具有突出的最佳逼近性能和全局最有特性且构造简单、训练速度快,在非线性函数逼近及模式识别领域取得了很好的效果。
二、构建基于GA-RBF神经网络性能预测模型
在利用GA-RBF神经网络算法来实现对离心泵性能预测时可根据如图1所示的流程图进行。
因为在GA-RBF神经网络中,输入模式对于离心泵性能预测预测结果有比较大影响,因此我们选取对离心泵能量性能影响较大的离心泵几何参数和设计流量()作为GA-RBF神经网络的输入变量。其中,主要的离心泵几何参数包括:叶轮出口直径()、叶片出口宽度()、叶片出口安放角()、涡壳的基圆直径()、涡壳进口宽度()、蜗壳第八断面面积()、叶片包角()以及叶片数()。根据输入模式可以确定输入层神经元数目为9。考虑到RBF神经网络的隐含层神经元是径向基函数,该特性使RBF神经网络的拟合特性为局部性,于是本文将泵的扬程和效率预测设计为2个相类似结构的GA-RBF神经网络预测模型,即为离心泵扬程GA-RBF神经网络预测模型和离心泵效率GA-RBF神经网络预测模型,如图2所示。
为了考察建立的离心泵扬程GA-RBF神经网络预测模型和离心泵效率GA-RBF神经网络预测模型的有效性,我们选取沈阳水泵研究所编撰的《全国优秀水力模型汇编》和江苏大学关醒凡教授编撰的《现代泵技术手册》选取57组单级单吸离心泵的设计参数和试验参数作为训练样本数据和目标数据。
根据训练样本数据和目标数据输入离心泵扬程GA-RBF神经网络预测模型和离心泵效率GA-RBF神经网络预测模型进行训练,其训练学习效果分别如图3、图4所示。
为了考察建立的离心泵扬程GA-RBF神经网络预测模型和离心泵效率GA-RBF神经网络预测模型的效果,本文也从沈阳水泵研究所编撰的《全国优秀水力模型汇编》和江苏大学关醒凡教授编撰的《现代泵技术手册》选取6组单级单吸离心泵的设计参数和试验参数数据作为检验样本,其具体数据如表1所示。
采用表1的数据和利用已经建立的离心泵扬程GA-RBF神经网络预测模型和离心泵效率GA-RBF神经网络预测模型分别进行预测离心泵的扬程、效率等性能指标,与谈明高等人所做实验和撰写的文献参数进行对比,其结果如表2所示。
分析表2的离心泵性能的GA-RBF神经网络预测模型检验样本预测结果发现:GA-RBF神经网络预测的扬程最大相对误差的绝对值为12.06%、最小相对误差的绝对值为2.34%、均方根相对误差为6.56%;效率误差最大相对误差的绝对值为6.99%、最小相对误差的绝对值为0.67%、均方根误差为3.99%。RBF神经网络预测的扬程最大相对误差的绝对值为13.86%、最小相对误差的绝对值为2.29%、均方根相对误差为7.56%;效率误差最大相对误差的绝对值为6.00%、最小相对误差的绝对值为1.78%、均方根误差为3.70%。
由图3和图4我们可以看到,RBF神经网络及其改进的GA-RBF神经网络在离心泵扬程预测精度方面都低于效率预测精度;虽然GA-RBF神经网络在预测离心泵效率的精度虽然比RBF神经网络略低,但在预测离心泵扬程的精度明显要好得多。
我们采用GA-RBF神经网络算法建立离心泵性能GA-RBF神经网络预测模型,在沈阳水泵研究所编撰的《全国优秀水力模型汇编》和江苏大学关醒凡教授编撰的《现代泵技术手册》选取57组单级单吸离心泵的设计参数和试验参数进行建模和验证,并通过阐述性能预测的实现过程,结果表明离心泵性能GA-RBF神经网络预测模型与原有的离心泵性能RBF神经网络预测模型通一样有效,并且设置参数更简单、更方便。
参考文献:
[1]关醒凡.现代泵技术手册[M].宇航出版社,1995.
[2]张顶学,刘新芝,关治洪.RBF神经网络算法及其应用[J].石油化工高等学校学报,2007,(03).
摘要:本文利用神经网络的强大的自学习能力和自适应性来提高安全审计系统的性能。在众多神经网络中,PNN概率神经网络尤为适合运用到入侵行为模式的误用检测方面。因此本文将PNN概率神经网络和入侵检测技术结合起来,研究保护企业数据库的安全技术,并构造出一套企业数据库入侵误用检测模型。该模型主要用于检测已知的入侵行为模式,并给系统及时处理入侵行为提供依据。
关键词:数据库安全PNN概率神经网络入侵检测
Abstract:Thethesisusestheneuralnetwork'spowerfulself-learningandself-adaptivetoimprovetheperformanceofthesecurityauditsystem.Inmanyneuralnetworks,theProbabilisticNeuralNetworkisparticularlysuitableforthemisusedetectionofintrusionmode.ThethesiscombinesthemethodoftheProbabilisticNeuralNetworkwiththetechniqueofintrusiondetection,andconstructsamodelofintrusiondetectionsystemappliedtothecorporationdatabase.Themodecandetecttheknownintrusionmodes,inthesametime,providesthebasisforsystemtodealwiththeintrusionsintime.
Keywords:DatabasesecurityProbabilisticNeuralNetworkIntrusiondetection
数据库作为企业和部门信息系统的重要组成部分,存储着大量的数据,其中某些数据可能是机密的重要数据,这些数据一旦遭到破坏,会给企业和部门造成不可挽回的损失,所以,这些数据的安全性在信息系统的安全中起着至关重要的作用。当前,数据库安全技术的研究已经成为信息安全的重要课题,入侵检测技术是新一代的动态安全保障技术,它用来检测内部用户的不合法操作和外部非法入侵者的恶意攻击。检测系统在检测到攻击的同时,还会采取适当的处理与保护措施,对有效保护数据库安全提供了一种很好的解决思路,被称为防火墙之后的第二道安全闸门。其本身也成为当今信息安全领域的一个研究热点。
入侵检测ID(IntrusionDetection)是近十年发展起来的一种预防、动态监测和抵御系统入侵行为的安全机制,弥补了传统安全技术的不足。入侵检测系统IDS(IntrusionDetectionSystem)可以实时监控网络和计算机主机,发现可疑事件,入侵行为一旦被检测出来,系统就会采取报警、记录和切断连接等措施,在对系统安全产生的危害之前及时消除风险。
神经网络技术具有自适应和自学习的能力,只要给系统提供所需的网络数据包和审计数据,它就可以通过自学习构造出相对正常的用户或系统活动模型,从而检测出异常活动的攻击模式,因此在检测方法上,将神经网络引入到入侵检测的研究中,使得入侵检测的智能性研究逐渐成为热点。
PNN概率神经网络在数据库入侵的误用检测中,能够对入侵行为模式进行快速准确的检测及判断,为系统及时采取相应的措施提供依据。误用检测是指运用已知的攻击方法,根据定义好的异常模式,通过判断这些异常模式是否出现来检测。本文围绕PNN神经网络的运用,对整个数据处理过程进行了介绍,从数据采集,到网络训练,以及测试网络性能,提出利用PNN概率神经网络进行入侵行为模式判断的优势,进而总结出一种新型的企业数据库入侵的误用检测模型。
一、PNN神经网络算法模型
概率神经网络PNN(ProbabilisticNeuralNetwork)是根据径向基函数网络发展而来的一种前馈型神经网络,是径向基网络的一种变化形式,其理论依据是贝叶斯最小风险准则。PNN具有结构简单、训练快捷等优点,在分类问题中,它的优势在于可以利用线性学习算法来完成非线性算法所做的工作,同时又可以保持非线性算法高精度的特点。其结构如图1所示。
输入层测试向量X(X1…Xn)通过传递机制传递到模式层,经过模式层的相应处理产生新的信息量依次经过该网络的所有层,其神经元的数目由训练数据的维数决定。模式层中各个类别组的输出为:
其中Wi表示连接输入层与模式层的权值,δ表示平滑因子。
求和层具有线性求和的功能,估计分类模式的各个类别的累计概率。概率密度函数为:
其中m为属于类别A的训练样本数,XAi为样本中属于类别A的第i个训练样本,σ为平滑因子。训练过程可以表示如下:首先通过输入层输入训练样本向量,然后在模式层中分别计算该向量与代表不同类别组的神经元之间的距离,再在求和层中求出每个类别模式的概率,最后在输出层计算各个类别的概率估计,由阈值辨别器从中选择并传递出后验概率密度最大的神经元的输出即1,而其他的输出0。
二、数据采集
入侵检测的数据采集可以收集系统、网络、数据及用户活动的状态和行为,一般可以利用的信息主要来自以下三个方面。
1、系统和网络日志文件
2、非正常的程序执行
3、非正常的目录和文件改变
入侵检测的准确性很大程度上依赖于收集信息的可靠性和正确性,因此很有必要只利用精确的软件来报告这些信息。本文利用SQLServer的事件探查器(SQLServerProfiler)跟踪各客户端的数据库调用。首先建立跟踪文件,使用SQLProfile标准模板,将跟踪的结果存储到表。表1为SQL事件探查器监控的事件分类。
本文主要跟踪企业数据库,相应数据库事件类主要为
1、TSQL分类中的SQL:BatchCompleted、SQL:StmtCompleted和SQL:StmtStarting
2、安全审核分类中的AuditLogin和AuditLogOut
3、存储过程中的RPC:OutputParamete、RPC:Completed、RPC:Starting、SP:CacheHit、SP:CacheInsert、SP:CacheMiss、SP:Cac-
heRemove、SP:Completed、SP:ExecContextHit和SP:Recompile
4、会话分类中的ExistingConnection事件类。
SQL探查器将采集到的数据存储在表中,为后续的神经网络训练与测试提供直接的数据源。
三、实验
(一)实验数据
本文选取实验数据为从SQL事件探查器中采集到的具有入侵行为模式分类的入侵数据,有5类入侵模式,所以用1、2、3、4、5分别代表各类入侵模式。本文所采用的入侵数据的特征向量为上节所采集的各个数据列,在上述监控的八个数据列里面去掉LoginName数据列,选取EventClass、LoginName、CPU、Reads、Write、ClientProcessID、SPID和objectID七个数据列作为神经网络的七个特征向量。一共有4500个入侵数据样本,随机选取其中的4000个入侵数据样本作为PNN神经网络的训练集,其余的500个数据样本作为测试集以测试PNN神经网络的性能。此入侵数据集为4500×8维的矩阵,1到7列为七个特征向量,第8列为分类的输出,也就是入侵类别。实验采用MATLAB2012B软件及其神经网络工具箱。
(二)入侵检测的实现
如图1,在对入侵数据进行测试时,输入层接收具有分类号的数据样本(训练样本向量)的值,即1、2、3、4、5,将入侵数据样本的属性传递给网络。模式层计算输入特征向量(样本属性)与训练集中各个模式的匹配关系,求和层将属于某类的概率累计,按式(1)计算,从而得到各类的估计概率密度函数。模式层由5类入侵类型的数据样本构成,将分类好的样本向量填充到模式层,即可完成该PNN的构建。
测试时,输入层把未分类的需要测试的入侵数据样本向量Xn送至所有的模式层单元。每个模式层单元计算测试入侵数据样本向量Xn和该单元训练向量之间的距离,求和层各单元把模式层单元的输出按类别号相加求和,获得各分类对应的分布密度。输出层从求和层中求得输入测试数据相对于各类别号的分布密度最大值,并将其对应的类别号1、2、3、4、5作为PNN的输出。
(三)PNN神经网络性能分析
选取1530到1580这50个样本来分析,在这50个样本中有2个样本判断错误,如图2所示。实际上在此次PNN网络训练过程中,4000个样本只有5个样本判断错误,如图3所示。并且,用预测样本进行验证的时候,选取150到200个这50个样本,其中有1个样本的入侵模式类别判断错误,如图4所示。而实际在此次PNN网络检测过程中,500个样本只有2个样本的入侵模式类别判断错误,精度高达99.6%。将网络重复运行10次,其平均精度为99.64%。
(四)PNN神经网络优势
2、PNN网络基于贝叶斯最小风险分类准则,能够最大限度地考虑样本数据的先验信息,即使分类问题异常复杂,只要用于学习的样本向量足够多,就能够得到Bayes判别准则下的最优解。
4、PNN在异常与否分类问题应用中,通过线性学习算法来完成非线性学习算法所做的工作,同时能保持非线性算法的高精度等特性。
5、PNN网络不需要训练,因而能够满足数据库入侵检测实时处理的要求。
四、企业数据库入侵检测的系统模型
该模型主要由以下三个模块组成:
2、特征数据库模块。该模块为训练好的PNN神经网络,相当于事件数据库,其征数据库与被监控数据库分离存储。
总结:
随着互联网迅猛发展,企业数据库的安全显得非常重要。入侵检测作为一种重要的安全保障手段,涉及到广泛的技术领域。本文提出一种基于PNN概率神经网络的算法,实验结果表明将PNN概率神经网络引入到入侵检测中的具有快速、精准的优势,由此结合PNN概率神经网络与入侵检测技术研究了一类企业数据库的安全保护技术,实现了企业数据库入侵检测的系统模型,并详细介绍了模型各个模块的具体实现方法及流程。可以有效的防范到来自内部的越权操作、违规操作和恶意破坏等,并可以抵制外部的远程非法入侵,是运用神经网络技术解决企业数据库安全保障的有效尝试。基于企业数据库的数据采集方法和神经网络检测技术为今后的工作打开了思路。
[1]王小川,史峰等。《MATLAB神经网络30个案例分析》.第一版.北京:北京航空航天大学出版社,2010:176-182.
[2]张德丰等.《MATLAB神经网络应用设计》.第二版.北京:机械工业出版社,出版年2011:320-323.
[3]金波.入侵检测智能方法的研究.上海:华东理工大学,2000:29-131.
[4]李钢.基于神经网络的入侵检测研究与实现.南京:南京师范大学.2006.
[5]SushilJajodia.DatabaseSecurityandPrivacy.ACMComputingSurveys.1996.
关键词:树叶识别;支持向量机;卷积神经网络
Abstract:Inthispaper,theconvolutionneuralnetworkrecognitionintheleaves,andtheprocessbyconvolutionofimagevisualization.Experimentsshowthattheneuralnetworkapplicationidentificationconvolutionleavesa92%recognitionrate.Inaddition,thisneuralnetworkandsupportvectormachinecomparativestudycanbedrawnfromthestudy,convolutionalneuralnetworkineitherspeedoraccuracybetterthansupportvectormachines,visible,convolutionneuralnetworkintheleavesaspecthasgoodapplicationprospects.
Keywordsrecognitionleaves;SVM;convolutionalneuralnetwork
1概述
上世纪60年代开始,学者们相继提出了各种人工神经网络[3]模型,其中卷积神经网络由于其对几何、形变、光照具有一定程度的不变形,因此被广泛应用于图像领域。其主要特点有:1)输入图像不需要预处理;2)特征提取和识别可以同时进行;3)权值共享,大大减少了需要训练的参数数目,是训练变得更快,适应性更强。
2人工神经网络
人工神经网络方面的研究很早就已开展,现在的人工神经网络已经发展成了多领域、多学科交叉的独立的研究领域。神经网络中最基本的单元是神经元模型。类比生物神经元,当它“兴奋”时,就会向相连的神经元发送化学物质,从而改变这些神经元的状态。人工神经元模型如图1所示:
上述就是一个简单的神经元模型。在这个模型中,神经元接收来自n个其他神经元传递过来的输入信号,这些信号通过带权重的w进行传递,神经元接收到的总输入值将与神经元的阈值进行比较,然后通过“激活函数”来产生输出。
一般采用的激活函数是Sigmoid函数,如式1所示:
[σz=11+e-z](1)
该函数图像图2所示:
2.1多层神经网络
将上述的神经元按一定的层次结构连接起来,就得到了如图3所示的多层神经网络:
2.2卷积神经网络
3实验研究
为了将LeNet-5卷积网络用于树叶识别并检验其性能,本文收集了8类树叶的图片,每一类有40张照片,如图5所示的一张树叶样本:
本文在此基础上改进了模型,使用了如图6卷积神经网络模型:
在此模型中,第一个卷积层是由6个特征映射构成,每个特征映射是一个28*28的神经元阵列,其中每个神经元负责从5*5的区域通过卷积滤波器提取局部特征,在这里我们进行了可视化分析,如图7所示:
从图中可以明显地看出,卷积网络可以很好地提取树叶的特征。为了验证卷积神经网络与传统分类算法之间的性能,本文基于Python语言,CUDA并行计算平台,训练同样大小8类,一共320张的一批训练样本,采用交叉验证的方法,得到了如表1所示的结论。
4总结
本文的研究可以归纳为探讨了卷积神经网络在树叶识别上的效果,并对比了传统经典图像分类算法,取得了较好的分类精度。
然而,本文进行实验的样本过少,当数据集过多的时候,这个卷积神经网络算法的可行性有待我们进一步的研究;另外,最近这几年,又有很多不同的卷积神经网络模型出现,我们会继续试验其他的神经网络模型,力求找到更好的分类算法来解决树叶识别的问题。
[1]BellA,SejnowskiT.AnInformation-MaximizationApproachtoBlindSeparationandBlindDeconvolution[J].NeuralComputation,1995,7(6):1129-59.
[2]AltmanNS.AnIntroductiontoKernelandNearest-NeighborNonparametricRegression[J].AmericanStatistician,1992,46(3):175-185.
[3]RipleyBD,HjortNL.PatternRecognitionandNeuralNetworks[M].Patternrecognitionandneuralnetworks.CambridgeUniversityPress,,1996:233-234.
[4]LécunY,BottouL,BengioY,etal.Gradient-basedlearningappliedtodocumentrecognition[J].ProceedingsoftheIEEE,1998,86(11):2278-2324.
【关键词】模糊神经网络;模糊控制;模糊辨识;规则抽取;学习算法
1问题的提出
本文总结了近期我国学者提出的几种新的基于模糊神经网络的系统辨识与控制方法,并通过仿真进行了各自特点的比较,希望可以通过这些比较,对这些研究加以改进和应用.
2模糊神经网络
2.1仿射非线性系统
为了实现非线性系统的实时控制,基于径向基函数网络与TSK型模糊推理系统的函数等价的特点,有学者提出了一种动态模糊神经网络的在线自组织线性算法,从而实现了系统的结构和参数的同时在线自适应.学习速度快是这种模糊神经网络的突出特点.在此基础上,针对未知仿射非线性SISO系统提出了一种在线自适应模糊神经网络辨识与控制方法.该方法首先采用G2FNN学习算法实时建模系统的逆动态,实现模糊神经网络的结构和参数的同时在线学习.然后,设计一个鲁棒补偿器与辨识好的模糊神经网络组成复合控制器,并基于Lyapunov稳定性理论设计自适应控制律进一步在线调整网络的权值,实现系统的跟踪控制.
控制目标是设计一个由G2FNN控制器和鲁棒控制器构成的模糊神经网络自适应鲁棒控制器,使得系统的输出y跟踪给定的参考输入信号ym,对于一个给定的干扰衰减水平常数ρ>0,获得良好的H∞跟踪性能指标.
广义模糊神经网络G2FNN由四层网络结构组成,分别实现模糊逻辑的模糊化、模糊推理和解模糊化过程.图1所示为单个输出结点G2FNN的结构.
图1G2FNN的结构
G2FNN中有两类学习算法,即结构学习和参数学习.结构学习是通过对每个新的训练数据计算出G2FNN的输出与期望输出之间的偏差来决定是否产生新的模糊规则或删除多余的规则;参数学习有两个方面,一是当系统产生第Nr+1条新的模糊规则时确定新规则前提参数ci(Nr+1),σi(Nr+1),另一个是当不需要进行结构学习时对第三层与第四层网络之间的权值向量W的调节.
第一层直接将输入语言变量xi(i=1,2,…Ni)传递到下一层.
第二层计算输入分量隶属于各语言变量值模糊集合的隶属度,隶属度函数为高斯函数:
式中:cij,σij(i=1,2,…,Nr)分别是第i个输入语言变量xi的第j条隶属度函数的中心和宽度;Nr为系统产生的规则数.
第三层是规则层,这一层的每个结点代表一条模糊规则,它的作用是用来匹配模糊规则的前提,每个结点的输出可以表示为:
第四层是结点定义语言变量的输出,它的作用是用来匹配模糊规则的结论,实现TSK型模糊推理系统的解模糊化过程.其输出为:
这里,Wj为第三层与第四层之间的权值.
使用倒立摆系统方程进行仿真研究,倒立摆的动态方程为:
系统仿真结果如图(图2):
图2自适应模糊神经网络控制系统跟踪轨迹
由图可知,所设计的控制器实现了模糊神经网络的结构和参数的在线自适应,输出跟踪参考输入信号,系统的误差收敛速度快,鲁棒性好.
由仿真可见,该方法不仅实现了模糊控制规则的自动产生和删除,还保证了闭环系统的全局稳定,并使外部干扰和模糊神经网络逼近误差对系统跟踪误差的影响衰减到一个指定的水平.本方法不需要知道系统的控制增益,设计了一个鲁棒补偿器来抑制模糊神经网络逼近误差和外部干扰的影响.系统鲁棒性好,抗干扰能力强,所设计的控制器可用于系统的实时控制.
2.2网络参数自学习模糊控制
在模糊系统的许多应用中,如模糊推理、模糊逻辑控制器、模糊分类器等,提取模糊规则是一个重要步骤。在新兴的研究领域――数据挖掘中,提取模糊规则也起着重要作用。然而模糊控制规则的获得通过由专家经验给出,这就存在诸如控制规则不够客观、专家经验难以获得等问题。因此研究模糊规则的自动生成有着重要的理论和应用价值。在许多问题中,希望提取出来的模糊规则能够用语言变量表示,以便揭示模糊系统内部的规律,同时这也是模糊系统的一个特色。为了提高抽取复杂系统模糊if-then规则的质量,将具有极好学习能力的神经网络与模糊推理系统相结合,产生了神经-模糊建模方法,这种方法综合了两种形式的特点,提供了一种从数值数据集抽取模糊规则的有效框架。有关领域的研究者们提出了多种模糊逻辑与神经网络结合的方法,给出了各种用于提取模糊if-then规则的神经网络结构框架。
由于径向基函数网络(RBFN)以其结构简单、良好的逼近能力、独特点可分解性以及和模糊推理系统的函数等价性,因此可应用于模糊系统。然而,当一个模糊系统使用学习算法被训练之后可能会影响其可解释性,也就是使得模糊系统的可理解性下降,而可解释性是模糊系统的一个突出特点。为了让模糊系统在具有自学习和自组织性的同时也具有可解释性这一突出特点,以下提出了一种能够有效表达模糊系统可解释性RBF网络结构,并进行了仿真实验,取得较好的仿真结果。
图3仿真实验结果
下面针对每个仿真曲面分别给出一组训练样本点为500个,评价样本点为100个的仿真结果图,如图4所示:
图4
从图中,可见各样本数据的预测值与实际值吻合的比较好,只有个别的点误差较大,这与训练样本点的选取有关。另外,在系统模型建立好后,为了检验模型的效果,笔者另外又抽取几组数据样本作为评价样本,结果发现预测值与实际值相比,误差也在允许范围内,效果比较令人满意。
本方法的创新点是提出了一种能够有效表达模糊系统可解释性RBF网络结构,并给出了一种有效的提取模糊规则的算法,这就使模糊系统在具有自学习和自组织性的同时也具有可解释性这一突出特点。利用这种网络结构和算法进行控制器设计,至少有以下的优点:
(1)模糊系统具有很好的可解释性。
(2)该算法克服了RBF中心个数选择的随机性,较好地解决了样本聚类。
(3)提出的增量数据处理方法保证了网络结构能适应不断扩大的数据集。
综上所述,这种RBF模糊神经网络控制算法,对于研究非线性,时变的多变量系统,提供了一种新的思路,具有一定的理论意义和工程应用价值。
2.3其他一些方法
其他的一些最近被提出的,如基于神经模糊网络的方法,基于模糊推理网络的方法(见图5),基于非线性自回归滑动平均模型等,都取得了很好的控制和辨识效果,具有有良好的发展和应用前景.
图56层神经模糊推理网络
3总结
【参考文献】
[1]李佳宁,易建强,等.一种新的基于神经模糊推理网络的复杂系统模糊辨识方法[J].自动化学报,2006,Vol.32,No.5.
[2]王锴,王占林,付永领,祁晓野.基于PNN与FNN模型神经网络控制器设计与分析[J].北京航空航天大学学报,Vol.32,No.9,2006.
[3]李晓秀,刘国荣,沈细群.仿射非线性系统的在线自适应模糊神经网络辨识与控制[J].湖南大学学报(自然科学版),2006,8,33(4).
[4]李延新,李光宇,孙辉,李文.基于RBF网络的参数自学习模糊控制的研究[J].微计算机信息,2006,8,22(8).
[关键词]药品;神经网络;组合预测;需求预测
doi:10.3969/j.issn.1673-0194.2014.08.051
0引言
随着人工智能技术的发展,人工神经网络得到了广泛研究和应用。由于神经网络具有良好的学习能力和较强的非线性处理能力、不依赖于特定数学模型等优势,其作为一种预测方法已被广泛应用于许多领域。
在医药企业、医药卫生管理领域,药品需求预测一直是管理部门关心的热点问题。药品需求除了受由药品自身属性影响外,还受国家政策或医药行业规定等因素的影响,如药品在某地区是否中标、是否为处方药等;同时,制药企业自身制定的定价、渠道以及促销等营销策略和销售团队的组建制度也对药品需求产生不同程度的影响。药品需求特征的多样性,决定了药品需求预测本质上是一个复杂的非线性系统建模问题。
本文采用基于神经网络的组合预测模型来解决上述问题。组合预测方法(combinedforecasting)是指通过一定数学方法将不同的单项预测模型组合起来,综合利用各种单项预测方法所提供的信息,从而达到提高预测精度的目的。组合预测方法最早由Bates和Granger[1]于1969年提出,他们认为对于一个包含系统独立信息的单项预测方法,与预测精度较小的预测方法进行组合预测完全可以增强系统的预测性能。
考虑到各种神经网络预测方法的特点及其适用范围,本文选择BP神经网络预测方法、RBF神经网络预测方法和基于广义回归神经网络(GRNN)3种常用的神经网络预测方法作为组合预测模型中的单项预测方法。在此基础上,用平均绝对相对误差(MAPE)和方差为衡量标准,并根据设置的阈值对单项预测方法进行筛选,最后选取了MAPE作为最优准则计算得到权重,从而建立组合预测模型,在提高组合预测模型精度的同时,使得组合预测模型具有现实意义。实验结果表明,本文提出的模型的预测精度高于传统的线性组合模型的预测精度。
尽管有关研究不断增多,但由于药品需求特征颇为复杂的特殊性,运用单项预测方法对其进行预测无法涵盖其较多的特征信息,从一定程度上限制了预测模型的适用范围。本文根据药品需求高度非线性的特点选取了3种不同特性神经网络模型作为单项预测方法,每种神经网络都有其所针对的药品需求特征,并在此基础上建立组合预测模型,扩大了药品预测模型的适应范围,对于提高药品预测精度和预测稳定性具有重要意义。
2基于神经网络的药品需求组合预测模型的建立
基于神经网络的药品需求组合预测模型的具体步骤如下:
(1)数据异常点预处理。为提高组合预测模型的适用范围和预测精度,本文运用基于距离的异常点检测方法对存在异常点的药品需求数据进行异常点修复,得到正常的需求数据。
(2)单项预测方法的选取。针对药品需求的不同特征,选取3种不同特性的神经网络模型作为单项预测方法,以此作为组合预测模型单项预测方法的筛选基础。
(3)单项预测方法的筛选与变权重的计算。因为不同药品具备不同需求特征,在进行组合预测时仍需要在已选取单项预测方法的基础上再次筛选合适的单项预测方法进行组合,以相对误差为最优准则,通过求解二次规划问题得到权重并按照一定的变权规则进行变权。
(4)根据权重建立组合模型进行预测。
2.1药品数据异常点预处理
在药品销售数据中,由于特殊事件(如铺货)等原因,个别数据会表现出明显突变,导致药品历史数据存在异常点,掩盖了数据本身的规律。本文通过基于距离的异常点检测方法和多项式拟合方法对药品数据做预处理,具体处理步骤如下:
首先,选择一个较大的数(如1010)将缺失数据补足,然后运用基于距离的异常点检测方法进行检测。第一步,对药品需求数据进行归一化处理并计算出各个数据之间的距离,得到距离矩阵P。计算公式如下:
Pij=|xi-xj|,i,j=1,…,n(1)
P=p11,p12,…,p1np21,p22,…,p2n…………pn1,pn2,…,pnn(2)
通过设置距离阈值d,计算出所有满足Pij>d的距离个数,记di,得到判别矩阵D。
D=[d1,d2,d3,…,dn](3)
将di与阈值f进行比较,若大于f,则识别该点为异常点,否则为正常值。最后利用多项式拟合方法,将检测出来的异常点作拟合处理,得到建模需要的正常数据。
2.2单项预测方法的选取
药品需求预测是一个复杂的非线性系统建模问题,相对于传统分析方法(如指数平滑方法、ARMA模型、MTV模型),神经网络依据数据本身的内在联系建模,具有良好的自组织、自适应性,以及抗干扰能力以及非线性映射能力,能够较好地解决非线性数据拟合问题。
本文选取3种具有不同特征的神经网络模型,即BP神经网络、RBF神经网络和GRNN广义回归神经网络,综合其各自优势建立组合预测模型,提升整个预测模型的泛化能力,提高预测精度与预测稳定性。
2.2.1基于BP神经网络的药品需求预测方法
BP神经网络由Rumelhard和McClelland于1986年提出,它是一种典型的多层前向型神经网络。药品销售记录作为BP神经网络输入值,药品需求预测即为BP神经网络输出值。当输入节点数为m,输出节点数为n时,BP神经网络就表达了从m个自变量到n个因变量的非线性函数映射关系。
2.2.2基于RBF神经网络的药品需求预测方法
径向基函数(RBF,RadicalBasisFunction)由Powell于1985年首次提出,它是一种三层前馈网络,即输入层、隐含层和输出层。从输入层到隐含层是一个非线性到线性的变换过程,从隐含层到输出层是一个线性处理过程。RBF神经网络在处理非线性问题时,引入RBF核函数将非线性空间映射到线性空间,极大地提高了非线性处理能力,且RBF神经网络采用自组织有监督的学习算法进行训练,其训练收敛速度具有显著的优势。
2.2.3基于GRNN的药品需求预测方法
广义回归神经网络(GRNN,GeneralizedRegressionNeuralNetwork)由美国学者DonaldF.Specht在1991年提出,它是径向基神经网络的一种。GRNN具有很强的非线性映射能力和柔性网络结构以及高度的容错性和鲁棒性,适用于解决非线性问题。
GRNN在逼近能力和学习速度上较RBF网络有更强的优势,网络最后收敛于样本量积聚较多的优化回归面,并且在样本数据较少时,预测效果也较好。此外,网络还可以处理不稳定数据。因此GRNN适用于数据不全、异常点较多的药品。
综上所述,3种神经网络都具有良好的非线性处理及预测能力,因为学习算法的不同有着各自侧重的学习方向,皆为应用广泛的预测方法,且对各自适应范围内有着较好的预测效果。因此本文选择BP神经网络、RBF神经网络以及广义回归神经网络作为单项预测方法,并在此基础上建立组合预测模型。
2.3单项预测方法的筛选与变权系数的计算
(1)单项方法筛选
单项方法进一步筛选的具体步骤为:
①预先设置选择单项方法MAPE阈值m和误差方差阀值ε
②进行逐期单步预测,预测序列为:
{i(t),i=1,2,…,n;t=N+1,…,N+T}
③计算n种单项方法的相对误差ei(t)、误差方差εi(t)和MAPE。其中,单项预测方法的相对误差序列为:
ei(t)=i=1,2,…,n;t=N+1,…,N+T(4)
单项预测方法的误差方差为:
εi(t)=(5)
单项预测方法的MAPE为:
MAPEi(t)=ei(j),(i=1,2,…,n;t=N+1,…,N+T)(6)
④若MAPEi(t)
(2)变权系数的计算
本文考虑预测效果,选用基于相对误差为最优准则的最优加权法进行计算。
假设从n中方法中筛选出p(p≤n)种单项预测方法,则组合模型第t+1期的权系数w(t+1)由相对误差ei(1),…,ei(t)决定,其中i=1,…,p。变权规则如表1所示。
权系数具体计算过程如下:
①设组合权重wi为方法mi在组合预测方法中权重,则组合预测方法第t期相对误差为:
e(t)=wi*ei(t),i=1,2,…,p(7)
②组合模型前t期的相对误差平方和为:
e2=e(1)2+e(2)2+…+e(t)2(8)
令w=[w1,w2,…,wP]T,
E=e1(1),e2(1),…,ep(1)e1(2),e2(2),…,ep(2)…………e1(t),e2(t),…,ep(t)
建立如下目标规划:
minP=e2=wT*ET*E*w
s.t.wi=1(9)
③求解该目标规划得到变权系数w。
2.4建立组合模型进行预测
组合预测模型可表示为:
式中,wi(t)表示第t期单项方法mi的变权系数,(t)表示第t期组合预测方法的预测值。根据该模型对药品进行预测。
3实验与分析
本文以上海市某制药企业月度销售额为药品需求预测的实证数据,根据销售地区的不同抽取有代表性的药品销售数据,其中选取上海地区10种药品,北京地区4种药品及全区域销售数据12种药品,数据长度皆为30(2009-1至2011-6)。
数据选择依据如下:①药品销售有一定的连续性,为公司主推或在某地区主推药品,具有代表性及预测意义;②在考虑异常点和数据缺失时,选取异常点和缺失数据较少的药品。
3.1单项方法筛选和变权系数计算
根据不同销售区域药品需求的具体情况,设定单一省市药品的MAPE阈值和方差阈值分别为20%和0.1;设定公司的MAPE阈值和方差阈值分别为30%和0.1。shy03和all03的单项预测方法选取结果如表2所示。
利用单项预测方法的6期预测结果计算组合预测模型的3期权重,选相对误差最优准则进行权重计算,运用MATLAB的二次规划函数quadprog求解。变权规则及权重计算结果如表3所示。
3.2预测模型的精度比较
本文选取平均绝对相对误差(MAPE)和预测有效度两个指标来综合评价模型的预测精度。当MAPE越小时,说明预测精度越高。然而当实际值非常小时,即使是预测值与真实值之差较小,其平均绝对相对误差也会很大,而预测有效度能很好地避免此类问题,故我们引入预测有效度来综合评价预测精度,预测有效度越大,预测精度越高。
用单项预测方法BP、RBF、GRNN与组合预测方法单一省市和全区域药品销售预测值的MAPE和有效度,对MAPE和有效度的情况进行统计并且计算MAPE和有效度的平均值,比较结果如表4所示。
可以看出,运用组合预测方法对单一省市的14种药品进行需求预测时,MAPE小于标准值20%的有8个,占药品总数的57.14%,优于BP(7)、RBF(4)、GRNN(6)方法;14种药品的MAPE平均值为19.81%,优于BP(26.71%)、RBF(28.45%)、GRNN(40.59%)方法。预测有效度大于标准值0.5的有11个,占药品总数的78.57%,优于BP(8)、RBF(10)、GRNN(8)方法;14种药品的预测有效度平均值为0.62,优于BP(0.57)、RBF(0.61)、GRNN(0.57)方法。
此外,运用组合预测方法对全区域销售的12种药品进行需求预测时,MAPE小于标准值30%的有7个,占药品总数的58.33%,优于BP(4)、RBF(6)、GRNN(3)方法;12种药品的MAPE平均值为25.22%,优于BP(35.90%)、RBF(32.07%)、GRNN(70.59%)方法。预测有效度大于标准值0.45的有10个,占药品总数的83.33%,优于BP(7)、RBF(9)、GRNN(5)方法;12种药品的预测有效度平均值为0.58,优于BP(0.46)、RBF(0.56)、GRNN(0.49)方法。
通过上述实证结果,从整体上看,组合预测方法的预测精度优于单项预测方法,而且模型的适用范围较广。
3.3预测模型的稳定性比较
本文选择预测误差的方差作为评价模型稳定性的指标。将单项预测方法BP、RBF、GRNN与组合预测方法的误差方差进行比较,单一省市和全区域的比较结果如表5所示。
可以看出,运用组合预测方法对单一省市的14种药品进行需求预测时,误差方差小于标准值0.1的有12种,占药品总数的85.71%,优于BP(10)、RBF(11)、GRNN(10)方法;此外,14种药品误差方差平均值为0.0263,优于BP(0.0613)、RBF(0.0361)、GRNN(0.0522)方法。运用组合预测方法对全区域销售的12种药品进行需求预测时,误差方差小于标准值0.1的有11个,占总数的91.67%,优于BP(9)、RBF(10)、GRNN(8)方法,此外,14种药品的误差方差平均值为0.0310,优于BP(0.0927)、RBF(0.0335)、GRNN(0.0650)方法。因此从整体上看,组合预测方法的预测稳定性优于单项预测方法。
4总结及展望
本文选择3种具有不同适应特征的神经网络模型作为单项预测方法,建立了基于神经网络的药品需求组合预测模型,以上海市某药企的实际销售数据作为实证对象,验证了该模型在预测精度和预测稳定性上均优于单项预测方法。当然,虽然建立的神经网络组合模型在一定程度上弥补了现有方法的不足,扩大了预测方法的适用范围,但在研究过程中依然存在亟待解决的问题:
(1)单项预测方法的参数优化有待进一步研究。本文在参数优化时,大部分采用遍历法和经验法进行设置,缺乏相应理论依据和方法指导。如何采用合适参数寻优方法进行参数确定是下一步亟待解决的问题。
(2)进行组合预测时,选择合适的最优准则有待于进一步研究。本文选取相对误差作为最优准则进行需求预测,该准则的选取忽视了量纲统一性,未来的研究应该综合考虑量纲统一、预测误差和预测稳定性,使组合预测方法更科学、更合理。
主要参考文献
[1]JMBates,CWJGranger.TheCombinationofForecasts[J].OperationsResearchQuarterly,1969,20(4):451-468.
[2]吴正佳,王文,周进.BP神经网络在备货型企业销售预测中的应用[J].工业工程,2010(1):105-108.
[3]童明荣,薛恒新,刘路冰.基于季节性RBF神经网络的月度市场需求预测研究[J].运筹与管理,2007(3),146-150.
[4]MariaCleofé,RValverde.ArtificialNeuralNetworkTechniqueforRainfallForecastingAppliedtotheS?觔oPauloRegion[J].JournalofHydrology,2005,1(20):146-162.
[5]AAKhan,KEMarion,CBil.ThePredictionofShipMotionsandAttitudesUsingArtificialNeuralNetworks[C].19thNationalConferenceoftheAustralianSocietyforOperationsResearch,Melbourne,Victoria,2007.
[6]DCPark,El-Sharkawi.ElectricLoadForecastingUsinganArtificialNeuralNetwork[J].IEEETransactiononPowerSystems,1991,6(2):442-449.
[7]MariaCleofé,ValverdeRamírez.ArtificialNeuralNetworkTechniqueforRainfallForecastingAppliedtotheS?觔oPauloRegion[J].JournalofHydrology,2005,301(20):146-162.
[8]马新强,黄羿.基于BP神经网络的药品销售预测模型设计[J].重庆文理学院学报,2008(2):64-66.