一种增强多样性的改进型NSGAⅡ算法

统一以最小化问题为例,将m个目标函数和n个决策变量,(p+q)个约束的MOP描述为

式中x∈XRn,y∈YRm,n是决策变量的个数,m是目标向量的个数,x表示决策向量,X是由决策向量x形成的决策空间;y表示目标向量,Y是由目标向量形成的目标空间;F(x)定义了由决策空间X向目标空间Y映射的函数,g(x)定义了p个不等式约束,h(x)定义了q个不等式约束。

定义1(可行解集)满足式(1)中约束函数的决策向量的集合,用Xl表示,Xl={x∈Xg(x)≥0∧h(x)=0}。

定义2(Pareto支配)存在x1,x2∈Xl是问题的解,当满足i∈(1,…M):fi(x1)≤fi(x2)∧j∈(1,…M):fi(x1)

定义3(Pareto最优解)当不存在其他解x∈Xl,使得x$\prec$xl,称xl为最优解,最优解也叫做非支配解。

定义4(Pareto最优解集)满足定义3的解的集合称为Pareto最优解集(Paretooptimalset,PS),表示为PS={xl}={x∈Xl|-x′∈Xl:x′$\prec$x}。

定义5(Pareto前沿)PS在目标空间的投影叫做Pareto前沿(Paretooptimalfront,PF),表示为PF={F(x)∈Rm|x∈PS}。

具体数学表示如公式(2):

其中f(x)=f1(x),f2(x),…,fm(x)T是解x的标准目标向量,PF是真实前沿面,λ是m维的方向向量。

算法中使用的Pareto支配满足反自反、反对称和传递性质。

①反自反性:种群中任一个体x,满足反自反性,即x-$\prec$x。

证明:如果x$\prec$y,则至少存在一个分量i=1,2,…,m:满足fi(x)

②反对称性:种群中任意两个体x,y如果满足x$\prec$y,则y-$\prec$x。

证明:假设x$\prec$y,根据定义3,则任意fi(x),fi(y),i=1,2,…,m:存在fi(x)≤fi(y)。所以不存在fi(x)>fi(y),故y不能Pareto支配x,即y-$\prec$x,满足反对称性质。

③传递性:x,y,z是种群中3个个体,如果x$\prec$y且y$\prec$z,则x$\prec$z。

证明:因为x$\prec$y,则满足i=1,2,…,m:fi(x)≤fi(y)∧j=1,2,…,m:fj(x)

其中,C代表参考点数量,M代表目标数量,H代表超平面上沿着每个目标考虑的划分数量。

算法:d2_NSGAⅡ算法

输入:种群规模N,决策变量数目D,MaOP问题的目标数目M,最大迭代次数Tmaxgen,沿目标方向划分H份

输出:最末代种群Pmaxgen

1.初始化

1.1初始化迭代计数器t=0;

1.2在MaOP问题的可行决策空间内随机产生N个初始点,形成初始化种群P0;

1.3计算P0中所有解的目标值向量F1(0),…,FN(0);

1.4产生参考点(M,H)→Set;

2.WHILE(t

3.构建交配池:Ptmating=Mating_selection(Pt);

4.重组运算:Ptrecombination=Recombination(Ptmating);

5.变异运算:Ptoffspring=Mutation(Ptrecombination);

6.合并子种群和父种群:Rt=Pt∪Qt;

7.计算最小向量值→Fmin;

8.计算最大向量值→Fmax;

9.归一化处理(Rt,Fmin,Fmax)→Rt;

10.保留Rt中边界解;

11.对Rt集合中的个体进行非支配排序;

12.确定最小的k值,使其满足|F1∪F2∪…∪Fk|≥N;//Fi表示第i层非Pareto支配层;

13.计算非支配层(Fk)个体的d2距离d2(Fk,Set);

14.关联Fk中个体与Set集合中的点;

15.IF|F1∪F2∪…∪Fk|>NTHEN

16.根据距离从非Pareto支配层Fk中删除(|F1∪F2∪…∪Fk|-N)个具有较大d2距离的个体;

17.ENDIF

18.Pt+1=|F1∪F2∪…∪Fk|;//获得规模为N的下一代种群;

19.更新迭代计数器t=t+1;

20.ENDWHILE.

21.输出最末代种群Pmaxgen。

算法的第1步为初始化,随机产生个体,并计算其目标值大小,同时产生参考点;第2步进入循环,进行重组变异,产生新的后代;第3步Mating_selection利用二元竞标赛法选取优秀的N/2个体;第4步对交配池中的个体进行仿二进制交叉(SBX),得到规模为N的种群Ptrecombination;第5步执行变异操作,得到后代Qt,规模为N。然后进行父种群以及子代种群的合并,生成规模为2N的新种群。为了便于目标值的比较,对目标值进行归一化处理。

归一化的目的是为了消除个体极端目标值,将数据标准化,便于比较,使实验数据更加可靠真实。首先,确定种群中个体每个目标分量fi的最小值fimin,构造向量Fmin=f1min,f2min,…,fMminT,同样构造目标最大值的向量Fmax=f1max,f2max,…,fMmaxT,其中fimax是种群Rt中fi的最大值。然后将Rt中所有个体目标值归一化,具体归一化公式如下所示:

同时,保留目标空间中的边界值,将在每个目标上的最大值与最小值的个体保留下来(边界值)。将边界个体的d2值设置为0,在迭代的时候将d2值为0的个体保留下来。与NSAGⅡ同样地进行非支配排序,确定最后的非支配层使得种群规模保持N,并在最后非支配层根据d2值由小到大筛选优秀的个体,使种群的规模保持为N,进入下一代迭代。

采用IGD指标测试新算法的性能。该指标反映了真实的Pareto前沿到近似Pareto前沿之间的距离,可以综合度量算法的收敛性与多样性。IGD指标具体工作机制如下:在真实的Pareto前沿上采用一组分布较为均匀的点,并计算他们到近似Pareto解之间的距离。IGD指标的值越小表明算法收敛性与多样性越好。具体的计算公式如下:

上述公式中,P是MOP问题的解集;Disti是目标函数归一化处理之后的最小欧氏距离;fmmax和fmmin分别表示P在第m个目标上获得的最大值与最小值。A为近似Pareto前沿,pi∈P,i=1,2,…,|P|;aj∈A,j=1,2,…,|A|。在对比实验中,实验进行30次,取结果平均值作为最后的实验结果;同时利用显著水平为0.05的Wilcoxon秩和检验分析所有对比算法结果的差异。

为解决NSGAⅡ在高维空间中效果不佳的问题,研究提出基于d2距离的NSGAⅡ算法,在保证算法收敛性的同时增加其多样性。通过实验数据验证,该算法在MaOP上取得了不错的效果,但是随着目标数目的增加,算法性能下降。究其原因,随着目标数目的增加,个体之间变得相互非支配,这是传统非支配方法面临的统一问题。未来可从支配关系以及距离度量方面进一步改进与探索,同时可以设计一些更加复杂的MaOP问题检验算法的有效性,使其效果更加优秀。

THE END
1.AI模型训练与优化技巧:从数据增强到模型压缩的实践指南图像数据增强是一种常用的技术,通过对训练数据进行多样性的变换,可以有效提升模型的鲁棒性和泛化能力。常见的图像数据增强方法包括:随机裁剪、旋转、翻转、缩放、色彩变换等。例如,对于分类任务,我们可以通过对图像进行水平翻转和旋转操作,来增加数据的多样性,从而提升模型的分类效果。 https://www.jianshu.com/p/84d2a32572cc
2.一文详细归纳算法数据增强方法需要关注的是,数据增强样本也有可能是引入片面噪声,导致过拟合。此时需要考虑的是调整数据增强方法,或者通过算法(可借鉴Pu-Learning思路)选择增强数据的最佳子集,以提高模型的泛化能力。 常用数据增强方法可分为:基于样本变换的数据增强及基于深度学习的数据增强。 https://blog.csdn.net/2301_78285120/article/details/132388494
3.总结62种在深度学习中的数据增强方式业界新闻混合样本数据增强算法的核心思想是 按一定的比例随机混合两个训练样本及其标签 这种混合方式不仅能够增加样本的多样性,并且能够使不同类别的决策边界过渡更加平滑 减少了一些难例样本的误识别,模型的鲁棒性得到提升,训练时也比较稳定 (35)RICAP RICAP,即随机图像裁剪和修补,是一种新的数据增强技术 https://www.jindouyun.cn/document/industry/article/183115
4.伯克利AI研究院提出新的数据增强算法,比谷歌大脑的AutoAugment雷锋网 AI 科技评论按:数据增强是提升图像识别模型性能的重要手段。伯克利 AI 研究院的一篇关于数据增强的论文便被 ICML 2019 收录为 oral 论文,该论文巧妙地运用基于种群的数据增强算法,在降低计算成本的情况下,既能提高学习数据增强策略的速度,又能提升模型的整体性能。伯克利 AI 研究院也在官方博客上对论文进行了https://www.leiphone.com/news/201906/gfpjijbKYjpKQfE2.html
5.最新车身漆面缺陷检测算法及一些缺陷数据集项目介绍数据:为了实时采集车身油漆缺陷图像,提出了一种新的数据增强算法,以增强数据库处理小样本数据过拟合现象的能力。 方法:针对汽车涂料固有的缺陷特征,通过改进MobileNet-SSD网络的特征层,优化边界框的匹配策略,提出了一种改进的MobileNet-SSD算法,用于油漆缺陷的自动检测。 https://www.yoojia.com/ask/17-11631754346557195974.html
6.基于Mosaic数据增强方法的标签检测算法研究针对原始YOLOv5算法在小目标的复杂情况下的检测效果欠佳的问题,本文引入数据增强和DIOU_nms的方法,有效提高了数据集的利用率和实际检测结果的精确度,大大降低了实际目标的错检率,使得目标框的回归更加稳定迅速,定位更加准确。本文YOLOv5+Mosaic+DIOU_nms模型提高了YOLOv5算法在特定环境下的检测效果和鲁棒性,也验证了https://www.fx361.com/page/2022/0531/10538044.shtml
7.12个常用的图像数据增强技术总结机器学习或深度学习模型的训练的目标是成为“通用”模型。这就需要模型没有过度拟合训练数据集,或者换句话说,我们的模型对看不见的数据有很好的了解。数据增强也是避免过度拟合的众多方法之一。 机器学习或深度学习模型的训练的目标是成为“通用”模型。这就需要模型没有过度拟合训练数据集,或者换句话说,我们的模型对看https://www.51cto.com/article/721267.html
8.深度学习领域的数据增强机器之心在计算视觉领域,生成增强图像相对容易。即使引入噪声或裁剪图像的一部分,模型仍可以对图像进行分类,数据增强有一系列简单有效的方法可供选择,有一些机器学习库来进行计算视觉领域的数据增强,比如:imgaug (https://github.com/aleju/imgaug)它封装了很多数据增强算法,给开发者提供了方便。 但是在自然语言处理领域中,由于https://www.jiqizhixin.com/articles/2019-12-04-10
9.自适应双边滤波的Retinex图像增强算法AET以上各种对Retinex算法的改进都是需要人工调节参数,对此,本文提出一种基于参数估计的双边滤波Retinex图像增强算法:从文献[7]出发,对图像的噪声方差进行估算,从而自动调节双边滤波的空间几何标准差参数;同时,从文献[8]出发,对图像进行边缘检测,得出边缘强度,从而自动调节双边滤波的亮度标准差参数;最后实现了双边滤波的参数http://www.chinaaet.com/article/3000079533
10.指静脉识别中的数据增强及多任务学习算法的研究与实现最近深度学习由于互联网大数据的的爆发获得了快速的发展,在图像领域几近全面超越了传统的算法。本文结合深度学习在指静脉识别领域目前依然存在的问题上进行了探索。并提出了相应的解决方案。本文工作内容如下:(1)针对目前公共数据集数据量少的问题,设计并实现了基于深度学习的图像数量增强算法。该算法利用条件式生成模型,https://cdmd.cnki.com.cn/Article/CDMD-10013-1021025630.htm
11.分析语音数据增强及python实现python数据增强是一种生成合成数据的方法,即通过调整原始样本来创建新样本。这样我们就可获得大量的数据。这不仅增加了数据集的大小,还提供了单个样本的多个变体,这有助于我们的机器学习模型避免过度拟合+ 目录 一、概述 音频时域波形具有以下特征:音调,响度,质量。我们在进行数据增强时,最好只做一些小改动,使得增强数据和https://www.jb51.net/article/214889.htm
12.学习报告:脑电图数据增强——解决睡眠分期任务中的类别失衡问题该文章提出了五种数据增强的方法,包括重复少数类(DAR)、脑电图信号形态变化(DAMC)、信号分割和重组(DASR)、数据集到数据集的传输(DAT),以及最先进的生成算法GAN(DAGAN)。 1.重复少数类(DAR) 少数类的重复样本是一种简单的方法,通过简单地从少数类[2]中随机复制选定的样本。在训练过程中对该方法进行了验证。https://www.scholat.com/teamwork/teamwork/showPostMessage.html?id=13309
13.基于焦点损失函数的嵌套长短时记忆网络心电信号分类研究过量扩充样本数量将会导致特征冗余,故本文采用SMOTE算法仅对少样本类别进行处理,使三类心律失常类别数量总和与N类数量达到相对平衡状态,进而抑制样本不平衡对模型性能的消极影响,进一步提高focal loss下的模型性能,旨在达到平衡数据集的分类的精度。数据增强后的数据分布如表1所示。 在不平衡心律失常分类仿真实验中,对训练https://www.tcsurg.org/article/10.7507/1001-5515.202110002
14.图像增强算法有哪些图像增强算法主要是对成像设备采集的图像进行一系列的加工处理,增强图像的整体效果或是局部细节, 从而提高整体与部分的对比度, 抑制不必要的细节信息, 改善图像的质量, 使其符合人眼的视觉特性。图像增强算法有直方图均衡图像增强,小波变换图像增强 ,偏微分方程图像增强,分数阶微分的图像增强,基于Retinex理论的图像增强,https://aistudio.baidu.com/aistudio/projectdetail/4902656
15.一种基于特征集关联度的乳腺超声分割方法与流程数据增强是提升算法性能、满足深度学习对大量数据的需求的重要工具。数据增强可以 通过生成无限的修改数据流对训练集进行人为扩充。原始数据不同的变换最终趋于同一个结 果是数据一致性的体现。然而正则化是指对模型施加约束以降低模型对训练数据依赖的一般 方法,因此有望使其更好地泛化到无法可视化的数据。一致性正则化https://www.xjishu.com/zhuanli/55/202111049894.html
16.基于基本图像处理技术的数据增强方法在计算视觉领域,生成增强图像相对容易。即使引入噪声或裁剪图像的一部分,模型仍可以对图像进行分类,数据增强有一系列简单有效的方法可供选择,有一些机器学习库来进行计算视觉领域的数据增强,比如:imgaug (https://github.com/aleju/imgaug)它封装了很多数据增强算法,给开发者提供了方便。 但是在自然语言处理领域中,由于https://m.elecfans.com/article/1877181.html