类别增量学习研究进展和性能评价

尊敬的读者、作者、审稿人,关于本刊的投稿、审稿、编辑和出版的任何问题,您可以本页添加留言。我们将尽快给您答复。谢谢您的支持!

类别增量学习研究进展和性能评价

ZHUFeiPh.D.candidateattheInstituteofAutomation,ChineseAcademyofSciences.HereceivedhisbachelordegreefromTsinghuain2018.Hisresearchinterestcoverspatternrecognitionandmachinelearning

ZHANGXu-YaoAssociateprofessorattheInstituteofAutomation,ChineseAcademyofSciences.HereceivedhisbachelordegreefromWuhanUniversityin2008andPh.D.degreefromtheUniversityofChineseAcademyofSciencesin2013.Hisresearchinterestcoverspatternrecognition,machinelearning,andhandwritingrecognition

LIUCheng-LinProfessorattheInstituteofAutomation,ChineseAcademyofSciences.Hisresearchinterestcoversimageprocessing,patternrecognition,machinelearning,andespeciallytheapplicationstodocumentanalysisandrecognition.Correspondingauthorofthispaper

图1真实开放环境中机器学习系统的工作流程

Fig.1Illustrationsofthelifecycleofamachinelearningsystemintheopen-worldapplications

Fig.2Illustrationsoftaskandclassincrementallearning(Wefocusonclassincrementallearning)

图3类别增量学习方法分类图

Fig.3Theclassificationofclassincrementallearningmethods

图5类别增量学习中的知识蒸馏策略

Fig.5Knowledgedistillationstrategiesinclassincrementallearning

图7特征蒸馏减少特征分布漂移

Fig.7Featuredistillationlossalleviatesfeaturedistributiondeviation

图9增量学习中样本关系知识蒸馏的不同策略

Fig.9Illustrationofrelationknowledgedistillationstrategiesinclassincrementallearning

图10基于数据回放的类别增量学习方法主要包括(a)真实数据回放;(b)生成数据回放

Fig.10Datareplaybasedclassincrementallearningmethodsinclude(a)realdatareplayand;(b)generativedatareplay

图11启发式旧类别采样策略示意图

Fig.11Illustrationofheuristicsamplingstrategies

图13基于梯度匹配算法的数据集提炼方法示意图

Fig.13Illustrationofgradientmatchingalgorithmfordatasetcondensation

图18PASS方法示意图

Fig.18IllustrationofPASS

图20两种特征生成方法示意图

Fig.20Illustrationoftwotypesfeaturegenerationstrategies

图24代表性类别增量学习方法在CIFAR-100和ImageNet-Sub数据集上的性能比较.数据回放方法为每个旧类别保存10个样本.从左到右依次为5,10和25阶段增量学习设定

Fig.24Comparisonsofthestep-wiseincrementalaccuraciesonCIFAR-100andImageNet-Subunderthreedifferentsettings:5,10,25incrementalphases.10samplesaresavedforeacholdclassindatareplaybasedmethods

表1不同增量学习设定对比

Table1Comparisonofincrementallearningsettings

表2类别增量学习评价指标

Table2Evaluationmetricsofclassincrementallearning

表3类别增量学习中的知识蒸馏方法总结

Table3Summarizationofknowledegedistillationstrategiesinclassincrementallearning

表4基于数据回放的类别增量学习中的新旧类别偏差校准方法总结

Table4Summarizationofbiascalibrationstrategiesindatareplaybasedclassincrementallearning

表5类别增量学习公用数据集的数量信息

Table5Quantitativeinformationofclassincrementallearningpublicdatasets

表6基于样本回放的方法在CIFAR-100,ImageNet-Sub和ImageNet-Full上的平均增量准确率(%)比较

Table6Comparisonsofaverageincrementalaccuracies(%)onCIFAR-100,ImageNet-Sub,andImageNet-Full

表7基于样本回放的方法在CIFAR-100,ImageNet-Sub和ImageNet-Full上的遗忘率(%)比较

Table7Comparisonsofaverageforgetting(%)onCIFAR-100,ImageNet-Sub,andImageNet-Full

表8非样本回放类别增量学习方法平均增量准确率(%)比较

Table8Comparisonsofaverageincrementalaccuracies(%)ofnon-exemplarbasedclassincrementallearningmethods

表9类别增量学习方法对比与总结

Table9Comparisonandsummaryofclassincrementallearningmethods

THE END
1.创业过程中如何不断学习和成长摘要:本文章从创业认知与心态、团队建设、市场分析、产品开发与迭代、市场营销策略、财务管理与资金筹集、法律与合规、领导力提升、创新思维与持续学习、创业过程中的挑战与应对以及成功创业案例等多个方面,详细探讨了创业过程中如何不断学习和成长。文章旨在为创业者提供一套系统的学习和成长方法,帮助他们在创业道路上取https://blog.csdn.net/universsky2015/article/details/144320322
2.大模型「终生学习连续学习增量学习」最新综述!!!分享一篇大语言模型的终生学习|连续学习|增量学习(Lifelong Learning | Continual Learning | Incremental Learning)的最新综述!扩展自「机器之心」Arxiv专栏:整合 200 多项相关研究,大模型「终生学习」最新…https://zhuanlan.zhihu.com/p/3352669117
3.NatureMachineIntelligence三种类型的增量学习今天给大家带来一篇剑桥大学有关增量学习的文章。从非平稳的数据流中渐进地学习新信息,被称为“持续学习”,是自然智能的一个关键特征,但对深度神经网络来说是一个具有挑战性的问题。近年来,许多用于持续学习的深度学习方法被提出,但由于缺乏共同的框架,很难比较它们的性能。为了解决这个问题,我们描述了持续学习的三种https://cloud.tencent.com/developer/article/2202907
4.万文长字总结“类别增量学习”的前世今生开源工具包然而,我们的人脑却有这种非凡的能力, 能够学习大量不同的任务, 而不会出现任何负面的相互干扰。 持续学习(Continual Learning)算法试图为神经网络实现同样的能力, 并解决灾难性的遗忘问题。 因此, 从本质上讲, 持续学习执行的是对新任务的增量学习(Incremental Learning)。https://www.thepaper.cn/newsDetail_forward_17451573
5.怎么使LLama3模型具备持续学习和自我修正的能力问答要使LLama3模型具备持续学习和自我修正的能力,可以采取以下几种方法:1. 增量学习:通过不断输入新的数据和信息,让模型持续学习和更新自己的知识库,以适应不断变化的环境和需求。2. 强化学习https://www.yisu.com/ask/76731041.html
6.一文概述联邦持续学习最新研究进展(2)简介:一文概述联邦持续学习最新研究进展 3、Federated Class Incremental Learning 3.1 本地灾难性遗忘补偿 通过在分散的客户端上进行数据私有的协作训练,联邦学习吸引了越来越多的关注。然而,大多数现有的方法假设整体框架的对象类别是固定的。这使得全局模型在现实世界的场景中遭受了严重的灾难性遗忘,因为本地客户端经常https://developer.aliyun.com/article/1263653
7.学习“把党纪学习教育成果持续转化为推动高质量发展的强大动力中共中央总书记、国家主席、中央军委主席习近平近日作出重要指示强调,党纪学习教育取得积极成效,要巩固深化党纪学习教育成果,坚持融入日常、抓在经常,把党纪学习教育成果持续转化为推动高质量发展的强大动力。要善始善终抓好党纪学习教育任务落实,抓好党纪学习教育收尾工作。要常态化推进学纪知纪明纪守纪,建立经常性和集中性https://www.meipian.cn/56uymou0
8.持续学习平台,持续探索创新,逸思长天旗下全自动持续学习工具长天ML持续学习平台 逸思长天(南京)数字智能科技有限公司旗下长天ML持续学习平台,支持更高程度的自动化机器学习和持续学习能力。用户仅需提供训练数据,无需具备任何机器学习知识即可构建机器学习模型,并且随数据变化自动更新,让普通人的AI建模能力达到专家水平。加速各行各业智能化场景探索与落地。 登录SaaS版本私有化部https://www.changtianml.com/
9.我院赵丹培老师团队在IEEETPAMI连续发表多项高水平研究成果针对持续学习技术中对旧数据依赖程度高的问题,赵丹培老师团队提出无数据回放条件下的持续语义分割方法。通过研究持续学习中的灾难性遗忘和语义漂移问题的内在数学机理,针对类别增量持续语义分割任务提出了一种基于多层级知识蒸馏和非对称区域对比学习的模型增量更新方法,克服灾难性遗忘难点,能够在无数据回放的条件下实现模型的http://www.sa.buaa.edu.cn/info/1050/10631.htm
10.市场监管个人工作总结13篇搭建“政企互惠通”平台,达成银企对接合作意向44项,企业意向金额2·28亿元,银行发放贷款6千万余元。评选出十家“莲都区小微企业成长之星”。三是主体增量持续提升。全区共有各类在册市场主体41285家,新增8589家,同比增长15·3%,其中企业8009家,农民专业合作社845家,个体32431家,市场主体的总量及增量均居全市首位。https://mip.oh100.com/a/202302/6237146.html
11.好书推荐《好好学习》:拥有学习临界知识的心态,持续提升学习能力这里,推荐你不妨阅读《好好学习》这本书,此书被几位商业大咖作序,封面也赫然注明为个人知识管理精进指南,书中给出了关于学习和应用所学知识的一些原则性方法,以及大量的可实操性的案例,是一部具有很强指导和落地价值的好书。 作者成甲先生,根据自己多年的知识管理和应用实践,进行了全面思考和提炼,提出了一个贯穿始https://www.jianshu.com/p/f5d081402686
12.银行客户经理心得体会(通用15篇)持续学习,与时俱进:金融行业日新月异,新产品、新政策层出不穷。作为客户经理,我们必须保持学习的热情,紧跟时代步伐,不断提升自己的专业素养。无论是金融市场动态、政策法规变化,还是新兴金融科技的应用,都是我们需要关注和学习的内容。只有这样,我们才能为客户提供更加专业、全面的服务,赢得客户的信任和支持。 https://mip.ruiwen.com/xindetihui/2884809.html