带GroupLasso正则项的PiSigma神经网络在线梯度算法研究OnlineGradientAlgorithmforPi

209 364

带GroupLasso正则项的Pi-Sigma神经网络在线梯度算法研究

刘乐，范钦伟

西安工程大学，陕西西安

收稿日期：2022年2月21日；录用日期：2022年3月17日；发布日期：2022年3月24日

摘要

Pi-Sigma神经网络是隐层带有求和神经元，输出层带有求积神经元的一种前馈神经网络，该网络具有较强的非线性映射能力。在误差函数中添加正则项是神经网络常用的优化方法，和传统的L2、L1/2正则项相比GroupLasso正则项可以在组级别上消除不必要的权值，具有良好的稀疏效果。众所周知，利用梯度法进行权值更新的学习方式有两种：一种是批处理学习算法，另一种是在线学习算法。本文提出带GroupLasso正则项的在线梯度学习算法来训练Pi-Sigma神经网络。最后，数值实验结果表明改进后的算法收敛速度更快并且具有较好的泛化性能。

关键词

Pi-Sigma神经网络，在线梯度算法，GroupLasso正则项

OnlineGradientAlgorithmforPi-SigmaNeuralNetworkswithSmoothGroupLassoRegularizer

LeLiu,QinweiFan

Xi’anPolytechnicUniversity,Xi’anShaanxi

Received:Feb.21st,2022;accepted:Mar.17th,2022;published:Mar.24th,2022

ABSTRACT

Pi-Sigmaneuralnetworkisafeedforwardneuralnetworkwithsummationneuronsinhiddenlayerandquadratureneuronsinoutputlayer,whichhasstrongnonlinearmappingability.Addingregulartermstotheerrorfunctionisacommonoptimizationmethodforneuralnetworks.ComparedwiththetraditionalL2andL1/2regularterms,theGroupLassoregulartermscaneliminateunnecessaryweightsatthegrouplevelandhaveagoodsparseeffect.Asisknowntoall,therearetwolearningmethodsforweightupdateusinggradientmethod:oneisbatchlearningalgorithm;theotherisonlinelearningalgorithm.ThispaperproposesanonlinegradientlearningalgorithmwithGroupLassoregularizedtermstotrainPi-Sigmaneuralnetworks.Finally,numericalresultsshowthattheimprovedalgorithmconvergesfasterandhasbettergeneralizationperformance.

Keywords:Pi-SigmaNeuralNetwork,OnlineGradientAlgorithm,GroupLassoRegularTerm

ThisworkislicensedundertheCreativeCommonsAttributionInternationalLicense(CCBY4.0).

1.引言

人工神经网络已经被广泛应用于各种领域[1]。其中前馈神经网络以其结构灵活性，具有与不同训练算法的兼容性的特点成为最受欢迎的体系结构之一。Pi-Sigma神经网络(简称PSNN)由Shin和Ghosh在1991年首先提出，它是前馈神经网络中的一种，具有良好的收敛性和泛化性能，该网络也具有较为规则的结构，并且具有更快的学习速度，能够通过增量添加单元来达到所需的复杂度水平[2]，在分类实验和函数逼近实验中得到了良好的收敛性和准确性。该网络利用乘积神经元作为输出单元，在使用较少的权值和处理单元的同时，间接结合了高阶网络的能力，并且成功地应用到了许多领域[3][4][5]。但该网络隐层中的求和神经元个数不易太多，否则会因为使用的权值太多而使该网络的学习速率降低，因此网络中隐层神经元的个数的多少很重要。合适大小的网络可以提高其泛化性能，因此寻找最合适的网络体系结构一直是一个重要的问题。正则化方法可以用来确定具有好的泛化性能的网络结构。

各种正则项已经被广泛应用，并且不同的正则项具有不同的作用，L0正则项能够得到稀疏解，但它面临着NP难题且很难求解；对于L1正则项来说，它的求解较为容易并且具有稀疏性；L2正则项是很常用的一个正则项，它可以抑制权值过大的增长，但是没有稀疏性[6]；L1/2正则项具有稀疏性并且可以使网络具有好的泛化能力[7]，但它只能删除接近于零的个体权值，而不能删除连接权值都接近于零的隐藏神经元；GroupLasso正则项可以在组水平上修剪不必要的权值和节点，使网络结构更稀疏[8]。综上所述，L2正则项不具有稀疏性，L1/2正则项虽然具有稀疏性，但是稀疏效率不高，只能去掉个别稀疏的权值但并不能去掉整个的神经元节点，所以针对这一关键问题，在这里我们借用GroupLasso的思想在训练PSNN的过程中消除隐藏层的分组权重。GroupLasso正则项具有稀疏性，在网络结构的稀疏方面具有良好的效果，它的优势是具有组水平上的稀疏性，当保留必要的节点，同时将冗余的节点作为一个组进行惩罚时，修剪将更加直观和有效。

3.Pi-Sigma神经网络算法描述

Figure1.StructurediagramofPi-Sigmaneuralnetwork

3.1.带L2正则项的在线梯度算法

3.2.带L1/2正则项的在线梯度算法

3.3.带GroupLasso正则项的在线梯度算法

4.数值模拟

为了验证该算法的有效性，这里使用一个函数逼近实验为例，利用带L2正则项，L1/2正则项，Group

Figure2.AlgorithmapproximationdiagramwithL2regularterm

Figure3.AlgorithmapproximationdiagramwithL1/2regularterm

Figure4.AlgorithmapproximationdiagramwithGroupLassoregularterm

Figure5.Errorfunctiondiagramofthreealgorithms

Figure6.Normofgradientgraphofthreealgorithms

5.结束语

本文中，我们考虑了GroupLasso惩罚项的良好稀疏性能，提出了带GroupLasso正则项的Pi-Sigma神经网络的在线梯度学习算法。通过函数逼近实验，根据三种算法的逼近效果图，误差函数图以及梯度范数图验证了该算法的有效性。

THE END

生物神经网络与人工神经网络都有自组织临界算法

arXiv2015深度学习年度十大论文菜鸡一枚

带GroupLasso正则项的PiSigma神经网络在线梯度算法研究OnlineGradientAlgorithmforPi

基于深度卷积网络和在线学习跟踪的驾驶员打哈欠检测

下一代人工智能方法重大研究计划项目指南发布政策资讯

IDRLnet:基于内嵌物理知识神经网络的开源求解框架

1.练习构建和训练神经网络评论是“干净的”,因为字母已转换为小写字母并删除了标点字符。 但是,它们还没有为训练神经网络来分析文本的情绪做好准备。 使用张量集合训练神经网络时,每个张量需要具有相同的长度。 目前,表示x_train和x_test中的评论的列表具有不同的长度。 幸运的是,Keras 包含一个函数,可使用列表的列表作为输入,并能https://docs.microsoft.com/zh-cn/training/modules/analyze-review-sentiment-with-keras/2-build-and-train-a-neural-network
2.随时间在线训练脉冲神经网络模型的图像数据分类方法与流程10.为了克服上述现有技术的不足,本发明提供一种基于随时间在线训练的脉冲神经网络模型进行图像视觉数据分类的方法,方法取名为ottt(online training through time)。通过本发明提供的方法,可以在训练snn模型时极大地减小训练内存的开销,将训练得到的模型用于计算机图像数据和神经形态图像视觉数据的分类与识别等视觉任务,能够https://www.xjishu.com/zhuanli/55/202210694741.html
3.利用EdgeImpulse在线网站自行训练神经网络进行分类识别而基于STM32H7的OpenMV机器视觉模组和云端AI平台Edge Impulse合作,就很好的打通了从数据收集、打标,NN模型训练、优化到部署的整个流程。 去年4月份我们的新品OpenMV4 H7 Plus上市啦,今天我来给大家介绍一下OpenMV4 H7 Plus的新功能——利用EdgeImpulse在线网站自行训练神经网络进行分类识别。 https://www.elecfans.com/d/1532483.html
4.最受欢迎的算法之一:反向传播训练反向传播是训练神经网络的最常用方法之一。Rumelhart、Hinton和Williams(1986)引入了反向传播,该方法到今天仍然很流行。程序员经常使用反向传播训练深层神经网络,因为在图形处理单元上运行时,它的伸缩性很好。要了解这种用于神经网络的算法,我们必须探讨如何训练它,以及它如何处理模式。 https://labs.epubit.com/articleDetails?id=70e0465200ba43599b1c83243affae5c
5.深度学习框架PyTorch使用指南:神经网络模型训练与部署完整教程是一个开源的深度学习框架,它为Python提供了强大的计算能力,同时提供了灵活的神经网络构建和训练接口。 的特点 以动态计算图为基础,具有灵活的张量计算和自动微分功能,深受研究人员和工程师的青睐。 二、神经网络模型训练 神经网络建模 通过PyTorch可以轻松地构建各种类型的神经网络模型,包括卷积神经网络、循环神经网络等https://www.jianshu.com/p/45aa62e76791
6.字节跳动破局联邦学习:开源Fedlearner框架,广告投放增效209%联邦学习技术本质上是为了帮助联邦双方更好地训练模型。不同公司由于此前积累的数据类型特征不同,落地应用场景不同,会采用不同的模型训练方式。 常见的模型训练包括神经网络模型训练、树模型训练、线性回归模型训练等等。其中,神经网络训练模型最常见的落地应用场景是推荐,包括个性化内容推荐、广告推荐等等,而树模型更多在https://maimai.cn/article/detail?fid=1550604028&efid=zqj9rqK7Yf_Us-lu-0Wnmg
7.TensorFlow在线可视化神经网络demotensorflowplayground官网深度学习在近几年又迎来高潮,很多同学都听说过这个名字,而大多数人只是“听说”而已。如何更进一步地了解深度学习以及神经网络的内部构造呢? 作为深度学习一个经典工具,TensorFlow官网也提供了一个在线可视化的demo,方便初学者了解神经网络这一技术。 使用方法 https://blog.csdn.net/qq_39856931/article/details/106296817
8.在线深度学习:在数据流中实时学习深度神经网络机器之心在本文的工作中,我们尝试通过解决一些「在线深度学习,ODL」中的开放性问题,例如如何从在线设置中的数据流中学习深度神经网络(DNN),希望以此弥补在线学习和深度学习之间的鸿沟。一种可能的在线深度学习的方式就是,在每一轮在线训练中仅在一个单独的数据样本上直接应用标准的反向传播训练。这个方法虽然简单,但是由于某些https://www.jiqizhixin.com/articles/2017-12-30
9.推荐系统完整的架构设计和算法(协同过滤隐语义)简单来说自编码神经网络尝试学习中间层约等于输入层的函数。换句话说,它尝试逼近一个恒等函数。如果网络的输入数据是完全随机的,比如每一个输入都是一个跟其他特征完全无关的独立同分布高斯随机变 ,那么这一压缩表示将会非常难于学习。但是如果输入数据中隐含着 些特定的结构,比如某些输入特征是彼此相关的,那么这一算https://cloud.tencent.com/developer/article/1508050
10.如何在服务器上跑神经网络?Worktile社区一旦模型经过训练和评估,并且在服务器上运行良好,就可以将其部署到实际应用中。通过使用预训练的模型或集成模型到您的应用程序中,您可以开始使用该模型进行预测和推理。 在服务器上运行神经网络需要一些基本的技术知识和经验。确保您熟悉所选择的深度学习框架的文档和示例,并根据需要参考在线资源和学习资料。通过不断实践https://worktile.com/kb/ask/1305511.html
11.MIT史上首次用AI控制动物大脑活动!技术前沿洞察新闻频道如今,我们生活中几乎所有基于人工智能的产品都依赖于有自主学习并标记数据能力的“深度神经网络”。 然而,为了更好地学习,神经网络通常需要需要大量的数据集进行大型的训练——这一训练过程耗时长、需要配备昂贵的GPU,有时还需要定制设计的硬件。这些客观因素导致深度学习无法被普及。 https://news.hexun.com/2019-05-14/197178826.html
12.基于图神经网络的社交网络影响力预测算法局部网络进行特征提取,然后将特征向量作为输入对图神经网络进行训练,从而对用户的社会表征进行预测.该方法的创新之处:运用图卷积和图关注方法,将社交网络中用户的特征属性和其所处局域网络特征相结合,大大提高了模型预测的精度.通过在推特、微博、开放知识图谱等数据集上的大量实验,证明该方法在不同类型的网络中都有https://jns.nju.edu.cn/CN/10.13232/j.cnki.jnju.2022.03.003
13.模拟人工智能的光学计算澎湃号·湃客澎湃新闻一个深度学习网络通常首先需要大量的样本进行训练,以优化所有的权重系数。经过训练后,网络可以对样本有效地执行一定的预测任务。在许多光学神经网络的相关研究中,训练在计算机上完全数字化离线进行,只有光学神经网络的预测操作是通过光学实验进行的。事实上,对光学神经网络在线训练在一定程度上也可以实现。 https://www.thepaper.cn/newsDetail_forward_15420945
14.基于一维宽核卷积神经网络—长短时记忆网络的单导脑电信号睡眠本文从数据类不均衡处理及神经网络模型训练优化两方面开展研究工作[18-19],构建高性能的睡眠状态识别模型,以达到准确分类睡眠状态的目的。首先,针对N1样本量与其他状态样本量不均衡的问题,采用合成少数过采样技术(synthetic minority over sampling technique,SMOTE)联合托梅克联系对(Tomek link,Tomek)算法(SMOTE-Tomek)对https://www.cjebm.com/article/10.7507/1001-5515.202204021
15.基于深度学习的权重计算深度学习算法lgmyxbjfu的技术博客相比DQN算法,A3C算法不需要使用经验池来存储历史样本,节约了存储空间,并且采用异步训练,大大加倍了数据的采样速度,也因此提升了训练速度。与此同时,采用多个不同训练环境采集样本,样本的分布更加均匀,更有利于神经网络的训练。 A3C算法在以上多个环节上做出了改进,使得其在Atari游戏上的平均成绩是DQN算法的4倍,取得了https://blog.51cto.com/u_14444/11796212