多尺度注意力机制的水下图像增强算法
王士川，杜玲
天津工业大学计算机科学与技术学院，天津
收稿日期：2021年8月12日；录用日期：2021年10月7日；发布日期：2021年10月14日
摘要
关键词
水下图像增强，生成对抗网络，深度学习
UnderwaterImageEnhancementBasedonMulti-ScaleAttentionMechanism
ShichuanWang,LingDu
SchoolofComputerScienceandTechnology,TiangongUniversity,Tianjin
Received:Aug.12th,2021;accepted:Oct.7th,2021;published:Oct.14th,2021
ABSTRACT
Duetotheattenuationdifferenceofdifferentwavelengthsoflightinthewaterenvironment,theoriginalunderwaterimagesshowgreenish,bluishandwhitehazeproblems.Forunderwaterimageenhancement,thispaperproposesagenerativeadversarialnetworkbycombiningmulti-scaledenseblocksandattentionmechanism.Theresidualmultiscaledenseblockisusedinthegenerator,andtheattentionmechanismblockisusedintheback-endtofocusonthefront-endfeatures,whichcanimprovethelearningabilityandenhancethenetwork’sabilitytoselectfeatures,respectively.Eachlayerofthediscriminatorusesspectralnormalizationandrelaxesthediscriminantcriteriatoreducethegradientcollapsecausedbyanomalousdata.Atthesametime,multiplelossfunctionsarecombinedtoenhancethegeneralizationabilityofGANnetworks.Theproposedalgorithmistestedonpublicdatasetsandvalidatedinpracticalapplications.Experimentalresultsshowbetterperformancethanexistingalgorithms.
Keywords:UnderwaterImageEnhancement,GenerativeAdversarialNetwork,DeepLearning
ThisworkislicensedundertheCreativeCommonsAttributionInternationalLicense(CCBY4.0).
1.引言
深度学习在视觉任务中的成功，如目标检测和图像分割，激发了越来越多的深度模型在图像恢复中的应用[2]。然而，对于水下任务来说，数据集是一个难以解决的问题。现有的水下数据集相对稀少，而且参考图像的质量很难与自然图像相比。生成对抗网络(GAN)比其他基于深度学习的模型显示出更好的视觉效果。它将图像恢复问题转化为图像生成问题，其独特的自主生成特性，缓解了高质量数据集的一些压力。目前，已经提出许多有效的方法用于水下图像增强任务。
然而，对于基于GAN的水下图像增强方法，仍然存在一些限制。首先，用于训练的水下图像数据集的多样性是不够的。根据[3]中测量的十个不同的水体的结果，淡水和咸水水体之间存在很大的差异。不同纬度的水体和不同强度的环境光导致同一水下目标的颜色有所不同。其次，生成的模型对特殊的数据特征没有给予足够的重视。根据经典的Jaffe-McGlamery水下成像模型[4]，白色雾状模糊团往往出现在浅水区。随着水深的增加，不同波长的光的衰减是非线性的，色彩对比度逐渐降低。这导致了在一定深度下的显著内容损失，使得GAN模型很难将白雾从图像场景中区分出来，增强结果会出现对比度偏差并出现难以解决的模糊感。第三，由于现有的GAN模型采用动态平衡作为收敛的判断结果，因此结果不够稳定，传统的对抗性损失在训练的早期阶段很难收敛，这会对增强效果产生影响。
在本文中，我们提出了一个条件生成对抗网络(c-GAN)，它结合了多尺度密集块和注意力机制，主要贡献如下：
1)提出了一个结合多尺度密集块和注意力机制块的生成器网络，直接从退化的图像中获得增强的结果，而不需要预先构建水下退化模型。
3)采用两个与人类感官高度一致的非参考评价指标对实验结果给出了主观和客观评价，证明了所提出的算法在水下图像增强中的优越性。
水下图像增强是一项艰巨的任务，主要由于水下复杂的光照环境会严重降低可见度并且导致色彩失真。近年来提出了许多水下图像恢复和增强的方法，现有的方法可归纳为以下两类。
2.1.基于传统的方法
传统方法主要使用基于物理散射模型的人工方法。Wei等[5]使用水下光的衰减先验模型来估计水下场景图像的深度信息，从而可以获得预测的背景光和透射图信息。Huang等[6]将图像恢复分为两部分:对比度恢复与颜色调整。首先在RGB颜色空间中使用动态参数均衡G和B通道，然后在CIE-Lab色彩空间中调整各个分量来恢复颜色。与[5]和[6]不同，Ancuti等[7]尝试以多尺度融合的方式统一强度校正和边缘锐化。基于先验的人工方法缺乏概括性，如果不满足该假设，则无法获得良好的性能。因此，在野外，它们通常表现较差，例如不良的伪影、颜色失真等。
2.2.基于深度学习的方法
深度学习技术所拥有的强大特征学习能力是有目共睹的，其主要通过学习大量数据特征拟合不同图像信息的映射关系。根据使用的不同网络框架，将其大致划分为基于CNN的方法和基于GAN的方法。
Li等人[8]对比了多种水下图像增强算法的主观结果，构建了一个真实世界水下图像数据集，并且提出了一种基于CNN的融合增强算法，通过对原始图像进行直方图均衡化、伽马矫正、自适应白平衡等操作得到多种增强图像，并训练学习不同权重从而得到最终的融合结果。Hou等人[9]提出了一种在图像的传输图像域使用残差学习的水下图像增强网络，将水下图像增强任务建模为同时学习传输图和场景残差，该方法可以将先验知识和数据信息整合在一起以研究水下图像的潜在分布。Islam等[10]提出了具有端到端可训练模型的一种统一方法Deep-SESR，将水下图像增强和单图像超分辨率结合起来，最高可以得到4倍分辨率的增强图像。该体系结构结合了密集残差子网和辅助注意力网络，以促进网络学习局部密集的信息特征。
在[11]中，Uplavikar等人提出了一种统一了十种水类型的GAN模型，该模型通过一个干扰网络对编码器的输出进行判别，迫使编码器对不同域的水下图像的输出分布更接近，从而消除不同类别对解码器的影响。Li等[12]从图像风格转换收到启发，改进了CycleGAN网络(WSCT)，添加一项SSIM损失作为内容损失，联合CycleGAN的循环一致性损失和对抗损失，无需成对的数据集即可将水下图像的内容和结构接近空气中的图像。Fabbri等人[13]直接使用CycleGAN，通过对ImageNet的子集[14]生成成对图像以解决训练集的稀少问题，使用WGAN损失约束GAN网络，梯度损失和L1损失约束内容，训练UGAN恢复网络。
不同于上述方法，本文使用水下失真图像和对应参考图像训练模型，使用了多尺度密集块和通道-空间注意力机制块来提升质量，只需一个训练模型就可以在不同类型的水下图像中取得良好的效果。
3.多尺度注意力水下图像增强算法
Figure1.Overallframework
本文提出的方案使用对抗损失、L1损失与L2损失组合的像素级别的内容损失、SSIM损失和特征损失组合的结构损失共同限制整个网络来生成视觉上质量良好的图像。
3.1.网络结构
3.1.1.生成器网络
Figure2.Generatornetworkstructure
Figure3.Multi-scaledenseblockstructure
道数，前端特征和后端特征拥有相同的特征图尺寸。
Figure4.Channelattentionbranch(top)andspatialattentionbranch(bottom)structure
3.1.2.判别器网络
所提出的判别器网络结构受到马尔可夫判别器(PatchGAN)[20]的启发。网络完全由卷积层组成，可以对任意大小的图像进行判别。前两个卷积层的步长为1，其余卷积层的步长为2，每经过一次卷积，特征图数量增加一倍。所有的卷积核尺寸都设置为偶数，便于更好地提取边缘特征。每个卷积层都使用谱归一化[21]进行梯度约束，以限制判别器的Lipschitz常数。文献[22]显示，具有谱归一化的判别器比没有谱归一化的判别器具有更好的客观质量分数。卷积层后紧跟LeakyReLU激活层，用以稳定上层的输出。在上述网络设置下，GAN网络具有非常强的稳定性。
3.2.损失函数
GAN的生成器网络生成一个未失真的图像，用来欺骗判别器。判别器接收一组未知图像和原始失真图像串联的图像数据，并对这组图像进行判别。GAN的训练过程是交替优化生成网络和判别器网络。对抗网络的损失函数如公式(1)所示：
其中C、W、H为常数，分别代表图像的通道数，宽度和高度。
结构相似性(SSIM)[23]可以根据亮度、对比度和结构这三个属性对图像进行比较。其描述增强后的图像和参考图像在上述三个指标中的相似度，数值范围介于0到1。并且数值越大，与参考图像的相似度越高。该指标更接近于人类的直觉，可以得出与主观评价一致的结论。在损失函数中加入SSIM损失来增强结果，如公式(4)所示：
综上，通过线性连接上述公式(1)~(5)，可以得到总损失函数如下：
4.实验结果与分析
本文使用公开的数据集进行实验，并在相同条件下与其他算法(包括基于深度学习的算法和传统算法)进行比较。然后，我们对测试图像进行了主观和客观的评估，最后用两种典型的应用算法验证我们方法的实用性。事实证明，该方法具有良好的增强效果。
4.1.数据集与训练细节
4.2.主观评价
所提出的算法与基于对比度约束的自适应直方图均衡(CLAHE)[24]、水下图像融合增强(FE)[7]、基于水下光衰减先验(ULAP)[5]、基于弱监督色彩转换(WSCT)[12]和基于生成式对抗网络的水下图像增强(UGAN)[13]进行比较。
Figure5.Comparisonofexperimentalresultsofdifferentunderwaterimageenhancementalgorithms
4.3.客观评价
将本文所提算法和其他算法使用不同指标进行比较。我们使用均方误差(MSE)、峰值信噪比(PSNR)、结构相似度(SSIM)、水下图像质量测量指标(UnderwaterImageQualityMeasure,UIQM)[25]和自然图像质量评价指标(NaturalImageQualityEvaluator,NIQE)[26]对各个算法的测试结果进行了定量比较。MSE指标描述了由增强算法获得的图像与参考图像在像素层面上的差异。该值越小，两幅图像的像素值就越接近。PSNR指标描述了生成的图像中保留了多少原始信息。数值越大，图像中保留的原始信息就越多。SSIM指标描述了两幅图像在亮度和对比度等主观指标方面的相似度。该值越大，说明图像与参考图像在高级特征方面的重叠程度越高。UIQM代表水下图像质量指标，它只需要一张图像，是一个非参考评价指标，更适合于开放的水下任务。UIQM的评价分为三部分，即图像颜色指标(UICM)、清晰度指标(UISM)和对比度指标(UIConM)。UIQM的计算方法如公式(7)所示：
Table1.Quantitativecomparisonofdifferentunderwaterimageenhancementalgorithms
5.总结
水下图像受特殊成像环境影响存在颜色失真、对比度低等问题，本文提出一种水下图像增强算法，该算法在GAN网络中加入多尺度密集块和注意力机制块。在生成器网络中使用残差多尺度密集块，提高了网络对特征的提取能力，并且加入两组空间–通道注意力机制块，增强了网络对复杂特征的筛选能力，提升了网络的收敛速度。同时将多种内容损失和结构损失相结合，在不同尺度空间对网络进行约束，提升了GAN网络的稳定性和对不同图像的泛用性。最后进行了多种对比试验，证明本文算法可以对失真水下图像进行较好的增强，提升图像的整体视觉效果。