带GroupLasso正则项的Pi-Sigma神经网络在线梯度算法研究
刘乐，范钦伟
西安工程大学，陕西西安
收稿日期：2022年2月21日；录用日期：2022年3月17日；发布日期：2022年3月24日
摘要
Pi-Sigma神经网络是隐层带有求和神经元，输出层带有求积神经元的一种前馈神经网络，该网络具有较强的非线性映射能力。在误差函数中添加正则项是神经网络常用的优化方法，和传统的L2、L1/2正则项相比GroupLasso正则项可以在组级别上消除不必要的权值，具有良好的稀疏效果。众所周知，利用梯度法进行权值更新的学习方式有两种：一种是批处理学习算法，另一种是在线学习算法。本文提出带GroupLasso正则项的在线梯度学习算法来训练Pi-Sigma神经网络。最后，数值实验结果表明改进后的算法收敛速度更快并且具有较好的泛化性能。
关键词
Pi-Sigma神经网络，在线梯度算法，GroupLasso正则项
OnlineGradientAlgorithmforPi-SigmaNeuralNetworkswithSmoothGroupLassoRegularizer
LeLiu,QinweiFan
Xi’anPolytechnicUniversity,Xi’anShaanxi
Received:Feb.21st,2022;accepted:Mar.17th,2022;published:Mar.24th,2022
ABSTRACT
Pi-Sigmaneuralnetworkisafeedforwardneuralnetworkwithsummationneuronsinhiddenlayerandquadratureneuronsinoutputlayer,whichhasstrongnonlinearmappingability.Addingregulartermstotheerrorfunctionisacommonoptimizationmethodforneuralnetworks.ComparedwiththetraditionalL2andL1/2regularterms,theGroupLassoregulartermscaneliminateunnecessaryweightsatthegrouplevelandhaveagoodsparseeffect.Asisknowntoall,therearetwolearningmethodsforweightupdateusinggradientmethod:oneisbatchlearningalgorithm;theotherisonlinelearningalgorithm.ThispaperproposesanonlinegradientlearningalgorithmwithGroupLassoregularizedtermstotrainPi-Sigmaneuralnetworks.Finally,numericalresultsshowthattheimprovedalgorithmconvergesfasterandhasbettergeneralizationperformance.
Keywords:Pi-SigmaNeuralNetwork,OnlineGradientAlgorithm,GroupLassoRegularTerm
ThisworkislicensedundertheCreativeCommonsAttributionInternationalLicense(CCBY4.0).
1.引言
人工神经网络已经被广泛应用于各种领域[1]。其中前馈神经网络以其结构灵活性，具有与不同训练算法的兼容性的特点成为最受欢迎的体系结构之一。Pi-Sigma神经网络(简称PSNN)由Shin和Ghosh在1991年首先提出，它是前馈神经网络中的一种，具有良好的收敛性和泛化性能，该网络也具有较为规则的结构，并且具有更快的学习速度，能够通过增量添加单元来达到所需的复杂度水平[2]，在分类实验和函数逼近实验中得到了良好的收敛性和准确性。该网络利用乘积神经元作为输出单元，在使用较少的权值和处理单元的同时，间接结合了高阶网络的能力，并且成功地应用到了许多领域[3][4][5]。但该网络隐层中的求和神经元个数不易太多，否则会因为使用的权值太多而使该网络的学习速率降低，因此网络中隐层神经元的个数的多少很重要。合适大小的网络可以提高其泛化性能，因此寻找最合适的网络体系结构一直是一个重要的问题。正则化方法可以用来确定具有好的泛化性能的网络结构。
各种正则项已经被广泛应用，并且不同的正则项具有不同的作用，L0正则项能够得到稀疏解，但它面临着NP难题且很难求解；对于L1正则项来说，它的求解较为容易并且具有稀疏性；L2正则项是很常用的一个正则项，它可以抑制权值过大的增长，但是没有稀疏性[6]；L1/2正则项具有稀疏性并且可以使网络具有好的泛化能力[7]，但它只能删除接近于零的个体权值，而不能删除连接权值都接近于零的隐藏神经元；GroupLasso正则项可以在组水平上修剪不必要的权值和节点，使网络结构更稀疏[8]。综上所述，L2正则项不具有稀疏性，L1/2正则项虽然具有稀疏性，但是稀疏效率不高，只能去掉个别稀疏的权值但并不能去掉整个的神经元节点，所以针对这一关键问题，在这里我们借用GroupLasso的思想在训练PSNN的过程中消除隐藏层的分组权重。GroupLasso正则项具有稀疏性，在网络结构的稀疏方面具有良好的效果，它的优势是具有组水平上的稀疏性，当保留必要的节点，同时将冗余的节点作为一个组进行惩罚时，修剪将更加直观和有效。
3.Pi-Sigma神经网络算法描述
Figure1.StructurediagramofPi-Sigmaneuralnetwork
3.1.带L2正则项的在线梯度算法
3.2.带L1/2正则项的在线梯度算法
3.3.带GroupLasso正则项的在线梯度算法
4.数值模拟
为了验证该算法的有效性，这里使用一个函数逼近实验为例，利用带L2正则项，L1/2正则项，Group
Figure2.AlgorithmapproximationdiagramwithL2regularterm
Figure3.AlgorithmapproximationdiagramwithL1/2regularterm
Figure4.AlgorithmapproximationdiagramwithGroupLassoregularterm
Figure5.Errorfunctiondiagramofthreealgorithms
Figure6.Normofgradientgraphofthreealgorithms
5.结束语
本文中，我们考虑了GroupLasso惩罚项的良好稀疏性能，提出了带GroupLasso正则项的Pi-Sigma神经网络的在线梯度学习算法。通过函数逼近实验，根据三种算法的逼近效果图，误差函数图以及梯度范数图验证了该算法的有效性。