基于视觉Transformer的多损失融合水下图像增强网络

954 561

智能科学与技术学报,2022,4(4):522-532doi:10.11959/j.issn.2096-6652.202252

专题：水下机器人

丛晓峰1,桂杰1,章军21东南大学网络空间安全学院，江苏南京210000

2安徽大学人工智能学院，安徽合肥230000

CONGXiaofeng1,GUIJie1,ZHANGJun21SchoolofCyberScienceandEngineering,SoutheastUniversity,Nanjing210000,China

2SchoolofArtificialIntelligence,AnhuiUniversity,Hefei230000,China

修回日期:2022-10-25网络出版日期:2022-12-15

Revised:2022-10-25Online:2022-12-15

作者简介Aboutauthors

丛晓峰（1997-），男，东南大学网络空间安全学院博士生，主要研究方向为水下图像处理、生成式算法、图像去雾等。

桂杰（1982-）男，博士，东南大学网络空间安全学院教授、博士生导师，主要研究方向为生成式算法、图像去雾、对抗机器学习以及自监督学习等。

章军（1971-）男，博士，安徽大学人工智能学院教授、博士生导师，主要研究方向为模式识别、智能信息处理等。

由于水中存在光的吸收和散射现象，水下机器人拍摄到的图像存在颜色失真和对比度降低的问题。针对水下图像存在的质量退化现象，提出了一种基于视觉Transformer的多损失融合的方式训练水下图像增强网络。图像增强网络采用编码与解码的结构，可以采用端到端的方式进行训练。将多损失的线性组合作为总体优化目标，有效地更新水下图像增强网络的参数，包括像素损失、结构损失、边缘损失和特征损失。在两个大型水下数据集上进行了量化实验，并与7种水下图像增强算法进行对比。以峰值信噪比和结构相似性为有参考评估指标，以水下评估指标为无参考评估指标进行实验。实验结果表明，提出的水下图像增强网络能够有效地解决图像的颜色失真与对比度降低问题。

关键词：水下图像;质量增强;视觉Transformer;神经网络

Keywords：underwaterimage;qualityenhancement;visionTransformer;neuralnetwork

本文引用格式

丛晓峰,桂杰,章军.基于视觉Transformer的多损失融合水下图像增强网络.智能科学与技术学报[J],2022,4(4):522-532doi:10.11959/j.issn.2096-6652.202252

CONGXiaofeng.UnderwaterimageenhancementnetworkbasedonvisualTransformerwithmultiplelossfunctionsfusion.ChineseJournalofIntelligentScienceandTechnology[J],2022,4(4):522-532doi:10.11959/j.issn.2096-6652.202252

UWT-Net采用了编码-解码的结构方式，包括编码的降维过程和解码的升维过程。编码过程负责学习特征表示，解码过程负责增强图像的像素重建。下面给出UWT-Net的整体结构及前向计算的原理，并分别对网络的各个模块进行介绍。

（1）整体网络架构

图1编码-解码结构的Transformer网络

（2）并行连接编码模块

（3）分块与块投射

（4）下采样模块与上采样模块

在编码过程中，Transformer模块前使用了下采样模块降低特征图尺寸，下采样模块通过步长为2且核尺寸为3×3的卷积实现。在解码过程中，Transformer模块前使用了上采样模块提升特征图尺寸，并且采用步长为1的卷积及像素重组（pixelshuffle）操作将特征图尺寸提升一倍。

（5）Transformer模块

基本的Transformer模块主要包含两个核心组件，第一个是多头自注意力模块，采用的是基于窗口的模式，第二个是多层感知机模块。为了实现信息的有效传递，Transformer模块一般采用层归一化（layernorm）模块对信息流进行处理，第i层的计算方式如式（2）～式（3）所示：

图2Transformer模块结构

为了对增强网络进行有效优化，设计了多种损失组合的方式对网络的参数进行更新。损失的设计从以下4个方面展开。

·像素损失（pixelloss）：像素损失在像素层面对网络进行优化，使增强后图像的像素值趋近参考图像。

·结构损失（structuralloss）：为了精确地对水下图像的结构信息进行复原，根据结构相似性原理使用结构损失优化网络。

·边缘损失（edgeloss）：水下图像的边缘信息是图像质量的重要组成部分，因此将基于梯度的边缘损失作为总体损失中的一项。

·特征损失（featureloss）：基于大规模图像数据集训练得到的模型可以表征图像的统计规律，因此使用特征损失对增强网络进行优化可以提高增强效果。

（1）像素损失

逐像素计算的损失是图像复原任务的基础损失，对增强网络的优化采用L1损失，则像素损失计算如式（4）所示：

其中，w和h分别为图像的长和宽，i和j分别为增强结果和参考图像的像素位置。

（2）结构损失

其中，uη和uy分别为增强后图像和参考图像的均值，ση和σy分别为增强后图像和参考图像的方差，σηy为协方差，C1与C2为常数，P为像素。SSIM的值越大，代表两张图像的相似程度越高，所以结构损失的定义如式（6）所示：

其中，N为图像块P中的像素数量。

（3）边缘损失

其中，Gh和Gv分别为水平和垂直方向的梯度值。

（4）特征损失

（5）总体损失与训练流程

上述4种用于水下图像增强网络训练的损失需要在每次迭代中被同时计算，并用于指导网络参数的更新，损失的组合方式为线性加权，具体如式（9）所示：

其中，λs、λe与λf分别为对应损失的权重值，具体的设置见第3节。对所设计的增强网络和组合型损失，采用梯度下降算法进行网络的参数更新。增强网络的训练流程伪代码见算法1。

算法1增强网络的训练流程伪代码

初始化

更新参数

endfor

图3UIEB和EUVP-US的失真图像和参考图像

其中，k为比特数，对于当前数据集，k=8。SSIM是结构信息复原效果的评估指标。UIQM被广泛用于水下图像增强的质量评估任务，它主要包括3个角度的评估，第1是水下图像的色彩评估，第2是水下图像的锐度评估，第3是水下图像的对比度评估，将3种评估值进行线性求和可以获得最终的UIQM值。

表1UIEB数据集上的定量实验结果

图4UIEB测试集的增强效果

表2EUVP-US数据集上的定量实验结果

针对UWT-Net的消融实验分为两部分：第一部分是UWT-Net训练过程所用损失的对比研究，第二部分是网络结构的对比研究。消融实验使用的是UIEB数据集。

（1）损失的消融实验

实验中采用多损失组合优化的方式对神经网络的参数进行更新，分别为像素损失、结构损失、边缘损失和特征损失。像素损失是主体损失，其余3种损失是辅助损失。为了验证所选择的损失是有效的，需要对损失组合情况下获得的水下图像增强效果进行量化分析。针对损失的消融实验分为以下4组。

·设置1：L1损失+结构损失+边缘损失+特征损失。

·设置2：L1损失+结构损失+边缘损失。

·设置3：L1损失+边缘损失+特征损失。

图5EUVP-US测试集的增强效果

·设置4：L1损失+结构损失+特征损失。

设置1包含了所有损失项，设置2、设置3和设置4中分别在设置1的基础上去掉一种损失，目的是验证去掉的损失对水下图像增强任务是否具有促进作用。

表3L1损失消融实验结果

（2）网络结构的消融实验

图6整体损失L的收敛情况

本文针对水下图像的颜色失真与对比度降低问题，将视觉Transformer模型作为基础网络模块，构建了端到端的水下图像增强模型UWT-Net。模型的训练过程将4种不同类型的损失组合作为图像增强网络的整体损失，4种损失分别从像素、结构、边缘和特征的角度设计，能够有效地对增强网络的参数更新过程进行指导。本文在两个公开的水下图像数据集上进行了定量和定性的实验，将提出的水下图像增强模型与其他水下图像增强模型进行对比与分析，实验结果表明，本文设计的模型能够获得较高的峰值信噪比，并保证增强后的水下图像与参考图像具有较高的结构相似性。

图74种损失的收敛情况

严浙平,曲思瑜,邢文.水下图像增强方法研究综述

YANZP,QUSY,XINGW.Anoverviewofunderwaterimageenhancementmethods

DREWSJRP,DONASCIMENTOE,MORAESF,etal.Transmissionestimationinunderwatersingleimages

DREWSJRP,NASCIMENTOER,BOTELHOSSC,etal.Underwaterdepthestimationandimagerestorationbasedonsingleimages

PENGYT,COSMANPC.Underwaterimagerestorationbasedonimageblurrinessandlightabsorption

SONGW,WANGY,HUANGDM,etal.Arapidscenedepthestimationmodelbasedonunderwaterlightattenuationpriorforunderwaterimagerestoration

LIUP,WANGGY,QIH,etal.Underwaterimageenhancementwithadeepresidualframework

NAIKA,SWARNAKARA,MITTALK.Shallow-UWnet:compressedmodelforunderwaterimageenhancement(studentabstract)

LICY.Underwaterscenepriorinspireddeepunderwaterimageandvideoenhancement

BERMAND,LEVYD,AVIDANS,etal.Underwatersingleimagecolorrestorationusinghaze-linesandanewquantitativedataset

LIUZ,LINYT,CAOY,etal.SwinTransformer:hierarchicalvisiontransformerusingshiftedwindows

ZAMIRSW,ARORAA,KHANS,etal.Restormer:efficienttransformerforhigh-resolutionimagerestoration

DOSOVITSKIYA,BEYERL,KOLESNIKOVA,etal.Animageisworth16×16words:transformersforimagerecognitionatscale

LIJ,SKINNERKA,EUSTICERM,etal.WaterGAN:unsupervisedgenerativenetworktoenablereal-timecolorcorrectionofmonocularunderwaterimages

常戬,韩旭.结合导向滤波与自适应算子的水下图像增强

CHANGJ,HANX.Underwaterimageenhancementcombiningguidefilteringwithadaptiveoperator

李颖,陈龙,黄钊宏,等.基于多尺度卷积神经网络特征融合的植株叶片检测技术

LIY,CHENL,HUANGZH,etal.Plantleafdetectiontechnologybasedonmulti-scaleCNNfeaturefusion

王禾扬,杨启鸣,朱旗.基于深度卷积集成网络的视网膜多种疾病筛查和识别方法

WANGHY,YANGQM,ZHUQ.Retinalmulti-diseasescreeningandrecognitionmethodbasedondeepconvolutionensemblenetwork

邵虹,张鸣坤,崔文成.基于分层卷积神经网络的皮肤镜图像分类方法

SHAOH,ZHANGMK,CUIWC.Classificationmethodofdermoscopicimagebasedonhierarchicalconvolutionneuralnetwork

陈龙,丁丹丹.多残差联合学习的水下图像增强

CHENL,DINGDD.Jointmulti-residuallearningforunderwaterimageenhancement

范新南,杨鑫,史鹏飞,等.特征融合生成对抗网络的水下图像增强

FANXN,YANGX,SHIPF,etal.Underwaterimageenhancementbasedonfeaturefusiongenerativeadversaralnetworks

LICY,GUOCL,RENWQ,etal.Anunderwaterimageenhancementbenchmarkdatasetandbeyond

GUOYC,LIHY,ZHUANGPX.Underwaterimageenhancementusingamultiscaledensegenerativeadversarialnetwork

FABBRIC,ISLAMMJ,SATTARJ.Enhancingunderwaterimageryusinggenerativeadversarialnetworks

BOUDIAFA,GUOYH,GHIMIREA,etal.Underwaterimageenhancementusingpre-trainedtransformer

VASWANIA,SHAZEERN,PARMARN,etal.Attentionisallyouneed

SONGYD,HEZQ,QIANH,etal.Visiontransformersforsingleimagedehazing

ZHAOH,GALLOO,FROSIOI,etal.Lossfunctionsforimagerestorationwithneuralnetworks

ZHANGH,PATELVM.Denselyconnectedpyramiddehazingnetwork

JOHNSONJ,ALAHIA,LIFF.Perceptuallossesforreal-timestyletransferandsuper-resolution

SIMONYANK,ZISSERMANA.Verydeepconvolutionalnetworksforlarge-scaleimagerecognition

ISLAMMJ,XIAYY,SATTARJ.Fastunderwaterimageenhancementforimprovedvisualperception

LICY,QUOJ,PANGYW,etal.Singleunderwaterimagerestorationbyblue-greenchannelsdehazingandredchannelcorrection

WANGY,SONGW,FORTINOG,etal.Anexperimental-basedreviewofimageenhancementandimagerestorationmethodsforunderwaterimaging

PANETTAK,GAOC,AGAIANS.Human-visual-system-inspiredunderwaterimagequalitymeasures

THE END

基于深度学习的阴影智能去除方法研究算法纹理遮罩

深度学习在计算机视觉图像分割算法中，批量图像数据增强的方法

多尺度注意力机制的水下图像增强算法UnderwaterImageEnhancementBasedonMulti

基于Retinex和深度学习的低照度图像增强方法与流程

基于CycleGAN超分辨重构的水下图像增强算法

深度学习低光图像增强综述（译）

基于基本图像处理技术的数据增强方法

基于视觉Transformer的多损失融合水下图像增强网络

图像增强新思路：DeepLPFCV技术指南（公众号）

图像增强基于深度学习的超分辨率图像增强含Matlab源码

1.一文看尽深度学习中的各种数据增强数据增强的方式 数据增强的定义 数据增强通常是依赖从现有数据生成新的数据点来人为地增加数据量的过程。这包括对数据进行不同方向的扰动处理或使用深度学习模型在原始数据的潜在空间中生成新数据点以人为的扩充新的数据集。 这里需要区分两个概念,即增强数据和合成数据: 合成数据:在不使用真实世界图像的情况下人工生成https://zhuanlan.zhihu.com/p/598985864
2.深度学习领域的数据增强机器之心第二个类别是基于深度学习的数据增强算法: 特征空间增强(Feature Space Augmentation):神经网络可以将图像这种高维向量映射为低维向量,之前讨论的所有图像数据增强方法都应用于输入空间中的图像。现在可以在特征空间进行数据增强操作,例如:SMOTE算法,它是一种流行的增强方法,通过将k个最近的邻居合并以形成新实例来缓解类不https://www.jiqizhixin.com/articles/2019-12-04-10
3.2020.09.15更新)深度学习的低光照图像增强算法之前在做光照对于高层视觉任务的影响的相关工作,看了不少基于深度学习的低光照增强(low-light enhancement)的文章,于是决定简单梳理一下。 光照估计(illumination estimation)和低光照增强(low-light enhancement)的区别:光照估计是一个专门的底层视觉任务(例如[1,2,6]),它的输出结果可以被用到其它任务中,例如图像增https://blog.csdn.net/hyk_1996/article/details/99641652
4.图像增强算法深度学习图像增强算法有哪些图像增强算法深度学习 图像增强算法有哪些 一、直方图均衡化 ① 算法原理 直方图均衡化,一般可用于灰度图像的对比增强(如:人脸阴影部位增强); ② 算法优缺点 如果直接对彩色图像R,G,B三通道分别均衡化后再合并,极容易出现颜色不均、失真等问题,所以,一般会将RGB图像转换到YCrCb空间,对Y通道进行均衡化(Y通道代表https://blog.51cto.com/u_16099326/8806284
5.图像增强算法综述①小波变换图像增强,偏微分方程图像增强,分数阶 微分的图像增强,基于 Retinex 理论的图像增强和基于深度学习的图像增强算法,?并讨论了它们的改进算法.?然后, 从视觉效果,对比度,信息熵等方面对几种算法进行了定性和定量的对比,?分析了它们的优势和劣势.?最后,?对图 像增强算法的未来发展趋势作了简单的https://c-s-a.org.cn/csa/article/pdf/7956
6.图像增强算法综述15. 张莹. 暗光图像增强技术在矿用小型终端中的应用. 世界有色金属. 2024(14): 202-204 . 16. 章赵威,冯向萍,张世豪. 基于深度学习的玉米叶片病害识别方法研究. 现代计算机. 2024(13): 1-8+77 . 17. 王孟奇,连增增,田亚林,王鹏辉. 面向室内弱光环境的视觉与惯导融合算法研究. 导航定位与授时. 202http://www.chineseoptics.net.cn/en/article/id/9522
7.图像增强算法综述传统的图像增强算法主要包括直方图均衡化、对比度增强、锐化等,而随着深度学习技术的发展,卷积神经网络等算法也在图像增强领域取得了显著的成果。图像增强算法归纳与分析1、改进算法改进算法主要是对传统图像增强算法进行优化和改进,以提高增强效果和算法效率。例如,李等人在直方图均衡化算法中引入了自适应思想,能够根据图像https://shufang.docin.com/p-4524762954.html
8.低照度增强算法(图像增强+目标检测+代码)SMID python3 basicsr/train.py --opt Options/RetinexFormer_SMID.yml # SDSD-indoor python3 basicsr/train.py --opt Options/RetinexFormer_SDSD_indoor.yml # SDSD-outdoorxunlian python3 basicsr/train.py --opt Options/RetinexFormer_SDSD_outdoor.yml 在增强低光图像时,许多深度学习算法基于Retinex理论https://developer.aliyun.com/article/1446322
9.的图像去雾算法来啦!前面给大家介绍过14种低照度图像增强算法这个透射率告诉了图像去雾系统我们需要恢复多少被雾霾遮盖的细节。然后,系统会根据透射率对图片进行调整。它会让照片中的像素更加亮丽,同时减少雾霾造成的影响。具体来说,图像去雾算法可以分为基于图像增强的去雾算法、基于图像复原的去雾算法和基于深度学习的去雾算法。本文主要研究介绍基于深度学习的去雾算法介绍基于https://juejin.cn/post/7255312213480194107
10.深度学习技术的进展和未来四大趋势技术动态根据低质量图像的种类不同,图像增强应用可以包括图像去噪、图像超分辨率、图像去模糊以及亮度提升等。图像增强是计算机视觉领域的传统方向,在20世纪90年代已经成为研究热点。传统方法通常存在需要先验知识和涉及到复杂优化过程等问题。而深度学习为图像增强提供了一个全新的视角和思路,深度学习图像增强算法通常是基于“学习”http://news.21csp.com.cn/c15/202108/11408690.html
11.Light深度学习赋能下的光学计量澎湃号·湃客澎湃新闻图2 光学计量的典型图像处理过程(如条纹投影轮廓术)可分为三个主要步骤:预处理(如去噪、图像增强)、分析(如相位解调、相位展开)和后处理(如相位—深度映射) 图3 光学计量图像处理层次结构的概貌以及不同层中分布的各种图像处理算法 深度学习技术 原理、发展与卷积神经网络 https://www.thepaper.cn/newsDetail_forward_16995760
12.EuropeanRadiology:深度学习图像重建,实现腹部增强双能量CT图像深度学习图像重建(DLIR)是一种新的CT重建方法,其中深度卷积神经网络(DCNN)被纳入了DLIR的图像重建算法,可通过高质量的CT图像数据集进行训练学习如何区分噪音和信号。 近年来,双能量计算机断层扫描(DECT)在临床CT成像研究中得到了越来越多的应用。DECT成像的基本原理是根据不同能量下的吸收值差异来分离物质,通过生成https://www.medsci.cn/article/show_article.do?id=94b6e28860b5
13.总结62种在深度学习中的数据增强方式业界新闻这时候数据增强的优势便充分的体现出来了 还有就是模型性能的提升 卷积神经网络对平移、视点、大小或光照均具有不变性 也正因此,CNN能够准确地对不同方向的物体进行分类 在深度学习中,CNN通过对输入图像进行卷积运算来学习图像中的不同特征,从而在计算机视觉任务上表现非常出色 https://www.jindouyun.cn/document/industry/article/183115
14.瘦脸瘦腿太初级,揭秘“亚洲秘术”美颜美体特效图像清晰度增强 最后补充的技术点是图像的清晰度增强。手淘包括各种短视频场景,用户可能会上传各种质量的视频,如用户所处的场景可能会导致直播质量或者图片质量比较差。 针对这个问题,我们研发了一款基于移动端的hdr-net的图像清晰度增强算法。该算法是基于深度学习的方案,通过CNN去输出一个颜色查找表,同时我们通过CNN网https://new.qq.com/omn/20220313/20220313A03FNH00.html
15.增强型DeepLab算法和自适应损失函数的高分辨率遥感影像分类夏梦等(2017)结合深度学习和条件随机场,在输入图像中增加了纹理信息,得到了比SVM分类器更好的提取效果,但其网络结果中,输出层地物位置信息没有得到足够的保留。在DeepLab v2网络的基础上,Chen等(2018a)提出了Na?ve-SCNN和Deeper-SCNN网络,并提出增强视场的方法,使用ISPRS的高分辨率语义分割数据集,成功提高了训练https://www.ygxb.ac.cn/zh/article/doi/10.11834/jrs.20209200/
16.科学网—基于深度学习的单幅图像超分辨率重建算法综述在深度学习未兴起前,经典的单幅图像超分辨率算法占据主导地位, Lanczos重采样[1]和双三次插值[2]得到了广泛的应用,但采用插值方法有时会导致图像边缘和细节模糊,因此其他传统算法也被相继提出[3-5],有效地增强了图像的质量.经典的超分辨率重建算法需要很多先验知识,且要求研究者具有深厚的专业知识储备.随着深度学习的https://blog.sciencenet.cn/blog-3291369-1347645.html