(1.大连海洋大学信息工程学院,辽宁大连116023；2.大连海洋大学水产与生命学院,辽宁大连116023)
摘要：为了提高水下图像的清晰度和对比度，恢复水下图像颜色特性，提出了一种基于非监督超分辨重构的方法(SR-CycleGAN)对水下图像进行增强。该方法采用超分辨网络和退化网络学习水下图像和陆地图像之间的跨域映射函数，使用相对平均判别器，增加了内容损失函数，并将SR-CycleGAN模型与4种传统的水下图像增强模型和5种基于深度学习的模型，在同一数据集上进行增强效果比较。结果表明：本文中构建的SR-CycleGAN模型得到了最高的PSNR值(20.277)和SSIM值(0.727)，与SESS-CycleGAN模型相比，PSNR和SSIM值分别提高了5.9%、13.9%，与FEATUREFUSION-CycleGAN模型相比分别提高了13.8%、71.8%，与BM-CycleGAN模型相比分别提高了5.1%、1.1%；对7类海洋生物进行识别，经过SR-CycleGAN模型增强后图像的识别准确率提高了48%。研究表明，本文中提出的SR-CycleGAN模型在校正水下图像颜色失真的同时还增强了图像清晰度，在海洋生物水下图像识别中具有一定的实用性。
关键词：水下图像增强；生成对抗网络；超分辨重构；非监督
海洋信息的有效利用，对国民经济和社会发展有着重要的影响，而水下图像是海洋信息的一个重要组成部分。由于复杂的水下成像环境及光在水中传播的光吸收和散射效应，人们直接在海底拍摄的图像往往是退化的图像，存在色偏、对比度低、模糊和光照不均匀等问题，限制了水下图像在实际场景中的应用[1]。为了解决上述问题，在水下图像应用之前，首先要进行图像处理，其中包括图像增强、图像恢复和图像重建等方法。
本研究中，提出了一种基于非监督超分辨重构的水下图像增强方法SR-CycleGAN，该模型不仅实现了水下图像的超分辨率重构，形成水下高分辨率的图像，还可以从陆地图像中进行水下图像的色彩学习，有效地消除了水下图像的色彩偏差问题，可实现水下图像颜色校正和清晰度增强的双重目标。
图1SR-CycleGAN网络结构
Fig.1SR-CycleGANnetworkstructure
G-Up生成网络以残差网络的图像超分辨率重构(SRResNet)为基础进行优化。
2)使用缩放卷积进行上采样。本研究中根据Odena等[13]提出的缩放卷积(Resize-Convolution)思想，使用最近邻插值将图像放大2倍后再卷积，相较于反卷积每个输出窗口只有一个值，Resize-Convolution隐含地对图像进行加权处理[14]，抑制了高频假象的产生。
G-Up生成网络结构如图2所示。
图2G-Up生成网络结构
Fig.2G-Upgenerativenetworkstructure
SR的退化模型一般假定LR是使用某种模糊核将HR按比例系数S缩小的结果[15-16]，从HR到LR的潜在退化过程公式为
ILR=(IHR×KS)↓S。
(1)
参考公式(1)，本研究中G-Down生成网络设计为无激活函数的多层线性网络作为下采样模块。G-Down生成网络结构如图3所示。
图3G-Down生成网络结构
Fig.3G-Downgenerativenetworkstructure
采用相对平均判别器(relativisticaveragedis-criminator，RaD)[17]，以估计真实图像比生成图像更逼真的概率。使用RaD降低了梯度的随机性，使得判别器更稳健，提升了图像的相对真实性，从而恢复图像更多的纹理细节。判别器的网络采用与SRGAN判别器结构相同的VGG网络，通过Sigmoid激活函数得出真实图像比生成图像更逼真的概率。判别网络结构如图4所示。
图4判别网络结构
Fig.4Discriminativenetworkstructure
采用对抗损失(Lossadv)、循环一致性损失(Losscycle)、内容损失(Losscon)和identity损失(Lossidentity)对超分辨网络和退化网络进行训练。网络整体损失函数公式为
Loss=Lossadv+Losscon+λLosscycle+Lossidentity。
(2)
其中，λ为加权因子，用于控制循环一致性损失在全部损失中的权重。
1)对抗损失。对于G-Up生成网络xlf=G(xlr)，xlr表示LR图像，xlf表示G-Up网络生成的SR图像。G-Down网络同理。G-Up、G-Down对抗损失计算公式分别为
Ladv(lr)=-Exlr{Log[1-DRa(xlr,xlf)]}-
Exlf{Log[DRa(xlf,xlr)]}，
(3)
Ladv(hr)=-Exhr{Log[1-DRa(xhr,xhf)]}-
Exhf{Log[DRa(xhf,xhr)]}。
(4)
2)内容损失。内容损失函数采用L1范数来衡量生成的图像G(x)或F(y)在视觉上是否与x或y相似。计算公式为
(5)
3)循环一致性损失。计算公式为
(6)
4)identity损失。identity损失用于保证生成图像的连续性。如果不加该损失，那么生成器可能会自主地修改图像的色调，使得整体的颜色产生变化。计算公式为
(7)
SR-CycleGAN中的总体损失构成如图5所示。
图5SR-CycleGAN模型的总体损失构成
Fig.5TotallossofSR-CycleGANmodel
选取水下图像的标准遵循“真实性”原则，水下图像的清晰度在300～700px，模拟真实的水下图像恢复情景。
对于陆地图像的选取，在对比度、色彩分布和摄影形式等方面有一定的限制。在试验过程中，若引入如太阳、白炽灯和无影灯等作为特征，会导致原本水下图像微小的亮度差别被错误的放大，产生大片白色或红色伪影；森林、水面和沙漠等图像多具有大量纯色元素，难以进行特征选取，导致某个区域进行错误的拟合，也可能导致多种颜色的伪影。另外，特殊摄影模式，包括鱼眼、长曝光、微距和移轴等，在水下使用极少，鱼眼摄影存在的高对比度圆圈，以及长曝光摄影具有的条形高对比度色带，均会对拟合产生影响，本试验中在选取数据集时，对上述情况均进行了排除。
为了与其他模型进行比较，低分辨率输入图像的大小统一调整为80×80×3，高分辨率图像的大小被调整为320×320×3。整个网络在Tensorflow框架中进行编码，并在配有8块显存为16GB的TeslaV100T2工作站上实现。本研究中，网络使用Adam优化模型进行训练，分别使用生成器和判别器训练200个epoch。前100个epoch学习率为0.0002，后100个epoch学习率线性递减为0，其余超参数均为默认值。
为了从不同角度准确地评估这些图像增强模型，本研究中选择3个广泛用于图像增强和恢复问题的标准指标，即均方误差(MSE)、峰值信噪比(PSNR)和结构相似性(SSIM)。其中，MSE是计算像素真实值与预测值之差平方的期望值，MSE值越低，说明图像越相似。PSNR的计算依据的是图像信噪比，PSNR值越高，图像的质量就越高；SSIM是两个给定图像之间相似度的度量指标，SSIM值越高表示视觉效果越好。因此，PSNR、SSIM值越高，MSE值越低，代表图像质量就越好。
将SR-CycleGAN模型与4种传统的水下图像增强模型CLAHE[18]、UCM[19]、DCP[20]、UDCP[21]，以及5种基于深度学习的模型UWCNN[22]、UGAN[4]、SESS-CycleGAN[23]、FEATUREFUSION-CycleGAN[24]、BM-CycleGAN[25]在同一数据集上进行图像增强效果的比较试验，结果显示，SR-CycleGAN模型得到了最高的PSNR值和SSIM值(表1)，说明其在图像清晰度上的恢复效果较优。综合以上3个标准指标的评估结果，本研究中所提出的SR-CycleGAN模型具有良好的整体性能。
表1不同模型的水下图像增强评估指标对比
Tab.1Comparisonoftheevaluationindicesofunderwaterimageenhancementindifferentmodels
增强模型enhancedmodel峰值信噪比PSNR均方误差MSE结构相似性SSIMCLAHE14.4332342.5470.647UDCP18.370946.3700.693DCP18.383943.4100.632UCM18.722872.6510.600UWCNN14.1782484.6620.461UGAN19.143792.0790.602SESS-CycleGAN19.135793.6030.638FEATUREFUSION-CycleGAN17.8071077.3560.423BM-CycleGAN19.292765.3570.719SR-CycleGAN20.277610.0320.727
值相差不大，但它们可视化性能并不令人满意。基于深度学习的模型在数值和可视化性能方面都相对稳定。图6为5个水下场景图像的增强效果。
图6不同模型的水下图像增强效果对比
Fig.6Comparisonofunderwaterimageenhancementresultsindifferentmodels
对于4种传统的水下图像增强模型分析显示：CLAHE模型在模糊的图像上表现出去雾效果，但同时产生了颜色失真和明显的色彩丢失问题，这在对于5种基于深度学习的模型分析显示：UWCNN模型的图像增强效果不明显，会错误地纠正水下的颜色，使色温高于正常的5000K，达到不正确的7000K，且观察到额外的噪声和失真，甚至在水质浑浊时，出现了曝光不够的情况，丢失了图像重要的信息；UGAN模型可以增强图像的对比度，且恢复后色温稍高于正常色温，增加了暗物体识别的难度；SESS-CycleGAN模型对于绿色背景图像恢复良好，但是对于蓝色背景图像恢复欠佳，存在红绿通道恢复过度的问题，另外也会出现有伪影的情况；FEATUREFUSION-CycleGAN模型的基本用途是恢复浑浊水体的图像，没有进行水下图像的颜色校正，甚至出现了颜色反向校正和色彩细节丢失的情况；BM-CycleGAN模型恢复后并未解决CycleGAN恢复时图像质量降低的通病，图像细节存在一定程度的丢失(图6)。
本研究中提出的SR-CycleGAN模型较好地恢复了图像颜色和细节，恢复后的图像颜色更加真实。对于大多数场景都能得到良好颜色校正结果，增强后的图像效果更符合人类的视觉感知。
为了进一步验证SR-CycleGAN模型在图像细节和清晰度方面的性能，本研究中使用Canny边缘检测继续对图像进行分析。从图7可见，SR-CycleGAN增强后的图像呈现出更多的关键匹配点和更多的边缘检测特征，且噪声更少，在图像空间中更接近于原始图像。说明SR-CycleGAN在图像细节和清晰度方面也具有良好的表现。
图7Canny边缘检测结果对比
Fig.7ComparisonofCannyedgedetectionresults
水下图像增强能够有效地提高海洋生物识别的准确率，为进一步检验本研究中模型在实际海洋生物识别中的实用性，将增强后的图像输入已训练好的海洋生物分类模型，通过比较海洋生物识别的准确率，验证本模型的性能。
在已有数据集中考虑形状、颜色的因素选取了7类海洋生物，分别为鲽、小丑鱼、鲟、镰鱼、鲨鱼、海豚和海龟。每种生物图片300余张，共计2500余张图片，并通过程序对图像进行了标注。使用卷积神经网络模型对试验的数据集进行训练，以准确率作为图像分类试验的评价指标，使用前文提到的不同方法对增强后的图像进行测试。试验结果如表2所示。
增强后图像的识别准确率均有一定的提高，但经过SR-CycleGAN模型增强后的图像识别准确率最高，由原图(raws)的66.4%提高到98.5%(表2)。增强后的图像能准确识别出更多的目标，说明本研究中提出的SR-CycleGAN模型能够有效地对水下图像进行色彩校正和清晰度增强，进而提升海洋生物识别的准确率，证明了本方法在海洋生物水下图像识别中具有一定的实用价值。
表2不同增强模型的海洋生物识别准确率比较
Tab.2Comparisonoftheaccuracyofmarinebiometricsindifferentenhancedmodels
增强模型enhancedmodel准确率accuracy/%raws66.4CLAHE88.3UCM82.2DCP84.8UDCP82.7UWCNN69.7UGAN90.7SESS-CycleGAN96.1FEATUREFUSION-CycleGAN94.0BM-CycleGAN96.2SR-CycleGAN98.5
由于本研究中提出的SR-CycleGAN模型是在CycleGAN模型的基础上进行优化改进的，故与CycleGAN模型单独进行图像增强效果对比试验。使用CycleGAN模型进行训练时，直接使用低分辨率水下图像进行训练，输出图像如图8所示，有显著的噪声，边界不清，曝光过度，丢失了图像的原始信息，并有明显的红色伪影和棋盘格，破坏了图像的结构信息。
图8经CycleGAN增强的图像
Fig.8CycleGANenhancedimage
为了解决红色伪影和棋盘格出现的问题，本研究中采用了避免棋盘格出现的Resize-Convolution上采样方法，在提升图像分辨率的同时，尽量减少棋盘格的出现。增加了内容损失函数，防止模型出现错误的拟合及颜色过度校正，减少红色伪影的出现。从图9可见，SR-CycleGAN优化后虽然仍存在一些网格，但是情况已有较大改善，红色伪影也几乎不再出现。
图9SR-CycleGAN与CycleGAN的图像增强效果对比
Fig.9ComparisonofimageenhancementeffectsbetweenSR-CycleGANandCycleGANmodels
基于深度学习的图像增强方法通常需要大量的成对数据来训练模型，但在水下环境中很难获得每幅退化图像对相应的清晰图像。针对难以收集水下同一场景不同分辨率图像的问题，本研究中提出了一种非监督的水下图像增强模型SR-CycleGAN。该模型采用超分辨网络和退化网络学习水下图像和陆地图像间的跨域映射函数。只需提供不同分辨率的真实图像以实现水下图像增强，无需使用成对的图像进行网络训练。生成器的超分辨网络以SRResNet为基础进行优化，删除了批处理规范化层，使用缩放卷积进行上采样，在抑制棋盘状伪影产生的情况下，对图像进行超分辨重构；退化网络用深度线性网络通过两次下采样操作缩小图像，模拟了图像的退化过程；判别器使用相对平均判别器提升图像的相对真实性，从而恢复更多的纹理细节；增加了内容损失，保留源图像的细节信息不变，同时校正图像颜色，提高生成图像的视觉质量。
在定量比较中，将SR-CycleGAN模型与4种传统的水下图像增强模型和5种基于深度学习的模型，在同一数据集上进行图像增强结果的比较。SR-CycleGAN模型得到了最高的PSNR值(20.277)和SSIM值(0.727)，与李庆忠等[23]提出的SESS-CycleGAN模型相比分别提高了5.9%、13.9%，与刘朝等[24]提出的FEATUREFUSION-CycleGAN模型相比分别提高了13.8%、71.8%，与李宝奇等[25]提出的BM-CycleGAN模型相比分别提高了5.1%、1.1%，说明SR-CycleGAN模型在图像清晰度上的恢复效果较优，增强后的图像噪声较少。在定性分析中，对于大多数场景都能得到良好的颜色校正结果，经过SR-CycleGAN模型增强后的图像效果更符合人类的视觉感知。经过SR-CycleGAN增强后图像的识别准确率方面有一定的提高，由原图(raws)的66.4%提高到98.5%，与李庆忠等[23]提出的SESS-CycleGAN模型相比提高了2.4%，与刘朝等[24]提出的FEATUREFUSION-CycleGAN模型相比提高了5.1%，与李宝奇等[25]提出的BM-CycleGAN模型相比提高了2.3%，增强后的图像能准确识别出更多目标，说明本研究中提出的SR-CycleGAN模型能够有效地对水下图像进行色彩校正和清晰度增强，从而提升海洋生物识别的准确率。
1)针对水下同一场景不同分辨率图像难以收集的问题，本研究中提出的SR-CycleGAN模型只需提供不同分辨率的真实图像，即可实现水下图像增强，无需使用成对的图像进行网络训练。
2)将超分辨重构的思想加入到CycleGAN中，对网络进行优化改进，有效地将水下图像超分辨重构为清晰图像，同时进行颜色校正。
3)经过SR-CycleGAN模型增强后的图像能准确识别出更多的目标，证明了本方法在海洋生物水下图像识别中具有一定的实用价值。
未来的工作将在适应性方面做进一步研究，基于公开数据集(UIEB、SUID和UFO120)和非公开数据集(大连海洋大学水下机器人采集)进行测试分析，通过对比更多水中不同场景下SR-CycleGAN模型的图像增强效果，进一步改善网络的性能。
参考文献：
[1]ANWARS,LICY.Divingdeeperintounderwaterimageenhancement:asurvey[J].SignalProcessing:ImageCommunication,2020,89:115978.
[2]LIJ,SKINNERKA,EUSTICERM,etal.WaterGAN:unsupervisedgenerativenetworktoenablereal-timecolorcorrectionofmonocularunderwaterimages[J].IEEERoboticsandAutomationLetters,2018,3(1):387-394.
[3]LICY,ANWARS,PORIKLIF.Underwaterscenepriorinspireddeepunderwaterimageandvideoenhancement[J].PatternRecognition,2020,98:107038.
[4]LICY,GUOJC,GUOCL.Emergingfromwater:underwaterimagecolorcorrectionbasedonweaklysupervisedcolortransfer[J].IEEESignalProcessingLetters,2018,25(3):323-327.
[5]LUJY,LIN,ZHANGSY,etal.Multi-scaleadversarialnetworkforunderwaterimagerestoration[J].Optics&LaserTechnology,2019,110:105-113.
[7]YEXC,XUHC,JIX,etal.Underwaterimageenhancementusingstackedgenerativeadversarialnetworks[C]//Pacificrimconferenceonmultimedia.Berlin:Springer,2018:514-524.
[8]DUR,LIWW,CHENSD,etal.UnpairedunderwaterimageenhancementbasedonCycleGAN[J].Information,2021,13(1):1.
[9]ZONGXH,CHENZH,WANGDD.Local-CycleGAN:ageneralend-to-endnetworkforvisualenhancementincomplexdeep-waterenvironment[J].AppliedIntelligence,2021,51(4):1947-1958.
[10]LEDIGC,THEISL,HUSZRF,etal.Photo-realisticsingleimagesuper-resolutionusingagenerativeadversarialnetwork[C]//ProceedingsoftheIEEEconferenceoncomputervisionandpatternrecognition.Honolulu:IEEE,2017:105-114.
[11]米恒,贾振堂.基于改进生成式对抗网络的图像超分辨率重建[J].计算机应用与软件,2020,37(9):139-145.
MIH,JIAZT.Imagesuperresolutionreconstructionbasedonimprovedgenerativeadversarialnetwork[J].ComputerApplicationsandSoftware,2020,37(9):139-145.(inChinese)
[12]ZHUJY,PARKT,ISOLAP,etal.Unpairedimage-to-imagetranslationusingcycle-consistentadversarialnetworks[C]//ProceedingsoftheIEEEinternationalconferenceoncomputervision.Italy:IEEE,2017:2242-2251.
[13]ODENAA,DUMOULINV,OLAHC.Deconvolutionandcheckerboardartifacts[J].Distill,2016,1(10).DOI：10.23915/distill.00003.
[14]高媛,刘志,秦品乐,等.基于深度残差生成对抗网络的医学影像超分辨率算法[J].计算机应用,2018,38(9):2689-2695.
GAOY,LIUZ,QINPL,etal.Medicalimagesuper-resolutionalgorithmbasedondeepresidualgenerativeadversarialnetwork[J].JournalofComputerApplications,2018,38(9):2689-2695.(inChinese)
[15]ZHANGK,LIANGJY,VANGOOLL,etal.Designingapracticaldegradationmodelfordeepblindimagesuper-resolution[C]//ProceedingsoftheIEEE/CVFinternationalconferenceoncomputervisio.Canada:IEEE,2021:4771-4780.
[16]YAMACM,ATAMANB,NAWAZA.KernelNet:ablindsuper-resolutionkernelestimationnetwork[C]//ProceedingsoftheIEEE/CVFconferenceoncomputervisionandpatternrecognition.Singapore:IEEE,2021:453-462.
[17]WANGX,YUK,WUS,etalEsrgan:enhancedsuper-resolutiongenerativeadversarialnetworks[C]//ProceedingsoftheEuropeanconferenceoncomputervision(ECCV)workshops.Berlin:Springer,2018:63-79.
[18]ZUIDERVELDK.Contrastlimitedadaptivehistogramequalization[M]//Graphicsgems.Amsterdam:Elsevier,1994:474-485.
[19]IQBALK,ODETAYOM,JAMESA,etal.EnhancingthelowqualityimagesusingUnsupervisedColourCorrectionMethod[C]//2010IEEEinternationalconferenceonsystems,manandcybernetics.Istanbul:IEEE,2010:1703-1709.
[20]HEKM,SUNJ,TANGXO.SingleimagehazeremovalusingDarkChannelPrior[J].IEEETransactionsonPatternAnalysisandMachineIntelligence,2011,33(12):2341-2353.
[21]DREWSJRP,DONASCIMENTOE,MORAESF,etal.Transmissionestimationinunderwatersingleimages[C]//ProceedingsoftheIEEEinternationalconferenceoncomputervisionworkshops.Canada:IEEE,2013:825-830.
[25]李宝奇,黄海宁,刘纪元,等.基于改进CycleGAN的浑浊水体图像增强算法研究[J].电子与信息学报,2022,44(7):2504-2511.
LIBQ,HUANGHN,LIUJY,etal.TurbidwaterimageenhancementalgorithmbasedonimprovedCycleGAN[J].JournalofElectronics&InformationTechnology,2022,44(7):2504-2511.(inChinese)
QIUWan1，LIRan1*，ZHENGRuiqian2
(1.CollegeofInformationEngineering,DalianOceanUniversity,Dalian116023,China;2.CollegeofFisheriesandLifeScience,DalianOceanUniversity,Dalian116023,China)
Keywords：underwaterenhancement;generativeadversarialnetwork;super-resolutionreconstruction;unsupervised
中图分类号：S937;TP391.4
文献标志码：A
DOI：10.16535/j.cnki.dlhyxb.2022-230
收稿日期：2022-07-25
基金项目：辽宁省教育厅科研项目(QL202016，LJKZ0730);中国医药教育协会2022重大科学攻关问题和医药技术难题重点课题(2022KTM036)；辽宁省教育厅高等学校基本科研项目(LGKR0263)
作者简介：邱皖(1993—)，女，硕士研究生。E-mail：541759314@qq.com
通信作者：李然(1967—)，女，副教授。E-mail：515241467@qq.com