十种图像去雾算法——原理+对比效果图十种超全的图像去雾算法来啦!前面给大家介绍过14种低照度图像增强算法,今天来说一说那

对于炼丹师、调参侠来说网络参数就显得尤为重要了叭,下面来看一下网络参数的具体设置:

训练过程中,研究人员使用这些合成的图像对来训练DehazeNet。他们以有雾霾图像为输入,真实无雾霾图像为目标输出,通过迭代地调整网络参数,让DehazeNet逐渐学会去雾的本领。当训练完成后,它就能用于处理单个含有雾霾的图像,直接生成清晰的图像了!

好了,如果你对DehazeNet感兴趣,不妨去看看上面的论文链接和代码链接,深入了解并尝试应用这个神奇的算法吧!

超酷的MSCNN(多尺度卷积神经网络)方法,听我慢慢道来:

首先,他们把户外场景的真实图片当成训练数据,每张图都有原始版本和去雾后的版本。然后,他们设计了一个多尺度卷积神经网络,也就是MSCNN,这网络真是厉害,可以同时看到图片的细节和整体特征。

接着,为了更加完美地去雾,他们还使用了一种超级有意思的边缘检测算法,这种边缘就像图片的轮廓一样,是很重要滴!

看这个方法的整体架构,就像一条流水线,经过训练之后,他们可以拿着训练好的模型,对任何一张模糊图进行处理,就像魔术师一样,估计出图片的透视图,然后根据这个估计值来生成清晰的去雾图。下面来让我们看看它的具体模型架构叭:

下图中的(a)是提出的单幅图像去雾算法的主要步骤。为了训练这个多尺度网络MSCNN,作者以深度图像数据集合成朦胧图像和相应的传输图为基础(盆友们还记不记得上个DehazeNet使用的是合成的有雾霾图像和相对的无雾霾图像的雾霾图像对)。在测试阶段呢,基于训练好的模型估计输入的模糊图像的透视图,然后利用估计的大气光和计算的透射图生成去雾图像。

下图中的(b)是多尺度卷积网络。给定一幅模糊滴图像,粗尺度网络(也就是图中绿色虚线框)先预测出一个整体的传输图,并将其提供给精细尺度网络(图中的橙色虚线框),用以生成一个精细的传输图。然后,作者使用整体边缘来细化透射图,使它在同一物体内部平滑。蓝色虚线表示的是连接操作。

当然,也有一些小缺点。这个方法的计算复杂度有点高,可能处理大图的时候会有些慢。而且,对输入参数要求有点挑剔,需要细心调整(调参侠上场)。有时候,可能会在处理的过程中损失一些细节,但总体来说,效果还是相当出色滴

这个AOD-Net真的很有创意,它不像其他方法那样麻烦,需要估计传输矩阵和大气光(大部分方法都得计算这个嗷)。它直接就能通过轻量级CNN生成清晰干净的图像,很是方便。而且,它还会估计透射率图,就是告诉你每个像素里有多少雾气,然后利用这个图来精准地去除雾霾,听着是不是很是高级!

这个AOD-Net还特别灵活,可以跟其他深度学习模型结合(例如我们目标检测常用的模型FasterR-CNN)变成更厉害的“组合拳”,提高在模糊图像上的任务性能。就像超级英雄们联合战斗一样,效果简直不要太牛!

这个网络的整体架构也很有意思,分成了两个模块:K-估计模块和干净图像生成模块。K-估计模块负责估计深度和雾度水平,通过多尺度特征来抓住不同尺度的信息,真是细致入微!干净图像生成模块就像一个魔法师,根据K-估计模块的输出,快速生成清晰的图像。下面让我们具体看一看它的结构叭:

K-估计模块是AOD-Net的关键组件,负责估计深度和相对雾度水平。如下图(b)所示,作者使用了五个卷积层,并通过融合不同尺寸的滤波器形成多尺度特征。AOD-Net的“concat1”层连接了“conv1”层和“conv2”层的特征。类似地,“concat2”连接来自“conv2”和“conv3”的特征;“concat3”连接“conv1”、“conv2”、“conv3”和“conv4”的特征。这种多尺度的设计捕获了不同尺度的特征,中间连接也补偿了卷积过程中的信息损失。值得注意的是,AOD-Net的每个卷积层仅使用三个滤波器。所以说,与现有的深度方法相比,AOD-Net是轻量级的。在K-估计模块之后,干净图像生成模块由一个逐元素乘法层和多个逐元素加法层组成,以便生成恢复图像。

总的来说,AOD-Net的这种“一体式”设计真的很新颖,让我们能够更方便地享受去雾的魔力。它在大量数据集的学习下,可以在各种场景下轻松应对各种雾霾

为了便于理解K-估计模块,这里给出了五个卷积层的实现代码:

这个算法的核心思想很有趣,它通过建立图像中像素之间的相似性关系,来获取周围区域的参考信息。就像图像中的小侦探,从其他像素中偷偷获取信息,然后用这些信息帮助当前像素去雾处理。下面就让我们来看看一种常见的Non-localimagedehazing算法的步骤叭:

这个算法的优点很多哦,去雾效果特别好,细节和色彩都保留得很好,而且它自适应性强,不需要预设参数,适用于各种不同场景。而且,它不需要额外的输入,仅利用图像自身信息就能处理,非常方便。

整个半监督学习的框架看起来如下图所示。它有两个分支,一个是“监督分支”,另一个是“无监督分支”,它们权值一样哦。监督分支使用标记的合成数据来训练,而且有好几种损失函数,包括均方误差、感知误差和对抗性误差,这些都帮助它学习去雾的技巧。而无监督分支则使用未标记的真实数据,它的损失函数有暗信道损失和总变化,也是为了让它懂得如何去雾。

这个技术真的很棒,它有好多优点!首先,去雾效果特别好,让图像质量大大提升,细节重现眼前(服气啦,每个去雾算法都是这么标榜自己,一点都不谦虚);半监督学习的灵活性让它更适应不同的图像场景,而且还可以轻松拓展。不过当然,它也有一些小小的缺点,比如需要有标注数据的支持,而且对雾霾密度变化比较敏感,需要适当的参数调整。

EPDN是一种用于图像去雾的深度学习模型,它基于pix2pix模型,可不是闹着玩的哦,pix2pix是一种厉害的生成对抗网络。而EPDN在这个基础上,还进行了一系列改进,就像是给pix2pix加了一剂“雾霾驱逐剂”,让去雾效果变得更出色。

说到数据集,EPDN可是偷偷收集了大量的雾霾图像和对应的清晰图像对,这些图像对让模型学会了怎么去除雾霾,还原图像的每一个细节。上个算法中提到了,以前的图像去雾算法,都得依赖一大堆完全标记的数据,那要找这么多标记数据,简直比钻石还贵!EPDN可不一样,它是半监督学习的高手,利用了已标记的图像和未标记的图像数据,让模型吸收了大量的知识,变得又快又准(类似SSLD算法)

为了让模型训练得更聪明,EPDN使用了多种损失函数,感知损失、内容损失和对抗性损失等等,这些损失函数像是模型训练的“好朋友”,帮助生成器创造出更真实、更清晰的图像,而判别器则更善于辨别生成的图像和真实的清晰图像。

而EPDN的网络架构也是精心设计的,生成器采用了深层卷积神经网络,还引入了“跳跃连接”,这就像是给模型增加了“天线”,让它在不同层级上获取更多的上下文信息,这样一来,去雾的效果更出色了。

还有一个绝密的武器——“增强块”,它能够按不同尺度重建图像,就像是“缩时穿梭”,在不同尺度上恢复图像的细节,让照片更美丽、更自然。

别以为EPDN就只靠自己了,它还可以利用先验知识来指导去雾过程,就像是有一张“藏宝图”,可以根据天气条件、场景结构等信息,更准确地还原雾霾图像中的每一个细节。

好啦,说了这么多,下面来看一看它的具体结构,它包含多分辨率生成器,多尺度判别器和增强器。

多分辨率生成器由全局子生成器G1和局部子生成器G2组成。如上图所示,G1和G2都包括一个卷积前端、三个残差块和一个转置卷积后端。G1的输入是对原始模糊图像进行2倍下采样。G1嵌入到G2中,G1的输出与G2的卷积前端获得的特征图的逐元素和被馈送到G2的残差块中。全局子生成器创建粗尺度的图像,而局部子生成器创建精细尺度的图像。两个子生成器的组合产生从粗到细的图像。

多尺度判别器模块包含名为D1和D2的两个尺度判别器。D1和D2具有相同的架构,D2的输入是D1输入的2倍下采样。生成器的输出被馈送到D1。多尺度判别器可以引导生成器从粗到细。一方面,D2引导生成器生成粗尺度的全局伪真实图像。另一方面,D1在精细范围内引导生成器。

增强块如下图所示。具体来说,增强块中有两个3×3前端卷积层。前端卷积层的输出按4×、8×、16×、32×因子下采样,构建四尺度金字塔。不同尺度的特征图提供不同的感受野,这有助于在不同尺度上重建图像。然后采用1×1卷积进行降维。之后将特征图上采样到原始大小,并将它们与前端卷积层的输出连接在一起。最后在特征图的串联上实现3×3卷积。

咱们来看看DAD的“魔法秘籍”吧!首先,它采用了两个步骤进行特征对齐,就像是找到源领域和目标领域之间的“共同语言”,让它们的特征空间更加接近。然后,通过自适应批归一化,进一步缩小了源域和目标域的特征分布,就像是把它们融合在一起,让去雾效果更加一致。

为了让源领域和目标领域之间的特征更好地对齐,DAD引入了一个领域适应损失函数,这个函数不仅包括了最大均值差异损失,还有感知损失,就像是把源领域和目标领域的特征表示进行约束,让它们更加一致。

下图是所提出的图像去雾域适应框架的架构。该框架由两部分组成,一个图像翻译模块和两个图像去雾模块。图像翻译模块将图像从一个域翻译到另一域以减少域差异。图像去雾模块在合成域和真实域上执行图像去雾。

然后,PSD会用这些合成图像和对应的清晰图像来训练一个深度神经网络,这个网络可以把有雾图像变成无雾图像,就像是变魔法般的转换。通过这么多的合成图像对,网络可以学到雾霾和图像之间的奥秘关系。

接着,PSD在去雾过程中,利用训练好的神奇网络来估计透射图,这个透射图表示每个像素处的雾霾程度。但是,为了更好地约束这个透射图,PSD引入了物理先验,就像是加了一层魔法保护罩,让估计更准确叭

为了更好地实现去雾,PSD会通过优化过程进一步改善透射图的估计,结合物理先验和数据驱动的深度学习,获得更准确和真实的透射图。这样一来,图像的雾霾分布和属性就更好地被反映出来了。

最后,PSD要做的就是利用优化后的透射图,对输入的有雾图像进行去雾处理。它会巧妙地修复和恢复图像,增强可见度,还原场景细节,简直就像是让照片“重生”一样滴

PSD也有很多优点哦,它有物理先验引导,数据驱动学习,提高了可见度,让去雾过程更加原则和可靠。当然,也有一些挑战,比如训练数据依赖性、计算复杂度较高,还对光照条件有点敏感。

多尺度增强去雾网络与密集特征融合(Multi-scaleboosteddehazingnetworkwithdensefeaturefusion,MSBDN)是一种用于改善模糊或有雾图像的深度学习模型。算法的各个组成部分如下:

GFN的超能力不仅仅表现在去雾效果上,它还内在残留学习,就像是有了一种奇妙的记忆力,能够持续改进。而且,它的计算成本低,就像是使用了一种高效的魔法;

但是嘛,GFN也有一些小小的缺点。它需要大量的训练数据,就像是需要一些实践和磨练。而且,对于输入图像的质量有点敏感,需要有些耐心等待它的效果。

让我们自己总结一下叭:GFN是一种端到端的模型,可以通过训练数据集上的监督学习进行训练。训练过程中,可以使用配对的有雾图像和无雾图像作为输入和目标,利用损失函数来指导模型学习去除雾霾的映射关系。训练完成后,该模型可以应用于任意单幅有雾图像的去雾处理。

学完这十种去雾算法的基本原理之后,让我们一起来看看它们的去雾表现到底怎么样叭(论文效果图)

一口气学了这么多去雾算法,让我们来总结一下叭:

你可以将这些去雾算法想象成不同种类的“魔法”,每种都有自己独特的特点和适用场景。

所以,不同的去雾方法各有千秋,适用于不同的场景和需求。在实际应用中,你可以根据具体情况,选择合适的方法来解决雾霾问题。有时候,也可以将它们结合起来,形成更强大的去雾策略!

THE END
1.深度学习与图像增强:提高图像质量与应用效果图像增强技术可以应用于各种计算机视觉任务,如图像识别、图像分类、目标检测、语义分割等。随着深度学习技术的发展,深度学习在图像增强领域也取得了显著的成果。本文将介绍深度学习与图像增强的相关概念、算法原理、具体操作步骤和代码实例,以及未来发展趋势与挑战。https://blog.csdn.net/universsky2015/article/details/137307772
2.深度学习图像增强算法总结mob64ca12d36217的技术博客深度学习图像增强算法总结 随着人工智能技术的迅猛发展,图像处理尤其是图像增强领域也取得了显著进展。图像增强的目的是改善图片的质量,使其更适合后续的分析或展示。深度学习的引入,使得图像增强技术愈加成熟,方法也愈加丰富。本文将总结几种基于深度学习的图像增强算法,并提供代码示例。 https://blog.51cto.com/u_16213312/12040112
3.基于深度学习的图像增强综述腾讯云开发者社区然后作者针对这三个成对的数据集,提出了一种新的图像增强算法。通过学习手机拍摄的照片和单反照片之间的映射关系来将手机拍摄的照片提升到单反水平,这是一个端到端的训练,不需要额外的监督和人为添加特征。其网络结构采用的是GAN模型,如下: 如图所示,GAN主要由两个网络组成,一个生成网络G和一个判别网络D,整个网络https://cloud.tencent.com/developer/article/1825772
4.图像增强算法综述15. 张莹. 暗光图像增强技术在矿用小型终端中的应用. 世界有色金属. 2024(14): 202-204 . 16. 章赵威,冯向萍,张世豪. 基于深度学习的玉米叶片病害识别方法研究. 现代计算机. 2024(13): 1-8+77 . 17. 王孟奇,连增增,田亚林,王鹏辉. 面向室内弱光环境的视觉与惯导融合算法研究. 导航定位与授时. 202http://www.chineseoptics.net.cn/en/article/id/9522
5.采用深度学习与图像融合混合实现策略的低照度图像增强算法【摘要】:提出了一种采用深度学习与图像融合混合实现策略的低照度图像增强算法.首先,利用照射分量预测模型直接基于输入的低照度图像快速地估计出其最佳照射分量并在Retinex模型框架下获得一张整体上适度曝光图像;其次,将低照度图像本身及它的过曝光图像作为适度曝光图像的修正补充图像参与融合;最后,采用局部结构化融合和https://www.cnki.com.cn/Article/CJFDTotal-DZXU202101010.htm
6.图像增强算法综述①小波变换图像增强,偏微分方程图像增强,分数阶 微分的图像增强,基于 Retinex 理论的图像增强和基于深度学习的图像增强算法,?并讨论了它们的改进算法.?然后, 从视觉效果,对比度,信息熵等方面对几种算法进行了定性和定量的对比,?分析了它们的优势和劣势.?最后,?对图 像增强算法的未来发展趋势作了简单的https://c-s-a.org.cn/csa/article/pdf/7956
7.低照度增强算法(图像增强+目标检测+代码)SMID python3 basicsr/train.py --opt Options/RetinexFormer_SMID.yml # SDSD-indoor python3 basicsr/train.py --opt Options/RetinexFormer_SDSD_indoor.yml # SDSD-outdoorxunlian python3 basicsr/train.py --opt Options/RetinexFormer_SDSD_outdoor.yml 在增强低光图像时,许多深度学习算法基于Retinex理论https://developer.aliyun.com/article/1446322
8.人工智能产业名词解释机器学习的有关术语。指的是在机器学习或人工智能领域,训练好的机器完成目标工作的过程。 四、人工智能流行应用技术相关名词解释 1.图像识别 利用计算机对图像进行处理、分析和理解,让机器能够识别图像内容的技术,是应用深度学习算法的一种实践应用。 2.增强现实、AR http://www.zbrd.gov.cn/e/action/ShowInfo.php?classid=34&id=10317
9.Light深度学习赋能下的光学计量澎湃号·湃客澎湃新闻图2 光学计量的典型图像处理过程(如条纹投影轮廓术)可分为三个主要步骤:预处理(如去噪、图像增强)、分析(如相位解调、相位展开)和后处理(如相位—深度映射) 图3 光学计量图像处理层次结构的概貌以及不同层中分布的各种图像处理算法 深度学习技术 原理、发展与卷积神经网络 https://www.thepaper.cn/newsDetail_forward_16995760
10.总结62种在深度学习中的数据增强方式业界新闻或使用深度学习模型在原始数据的潜在空间(latent space)中生成新数据点从而人为的扩充新的数据集 这里我们需要区分两个概念,即增强数据和合成数据 》合成数据 指在不使用真实世界图像的情况下人工生成数据 合成数据可由GAN或者现如今大火的AGI技术Diffusion Model生成 https://www.jindouyun.cn/document/industry/article/183115
11.增强型DeepLab算法和自适应损失函数的高分辨率遥感影像分类夏梦等(2017)结合深度学习和条件随机场,在输入图像中增加了纹理信息,得到了比SVM分类器更好的提取效果,但其网络结果中,输出层地物位置信息没有得到足够的保留。在DeepLab v2网络的基础上,Chen等(2018a)提出了Na?ve-SCNN和Deeper-SCNN网络,并提出增强视场的方法,使用ISPRS的高分辨率语义分割数据集,成功提高了训练https://www.ygxb.ac.cn/zh/article/doi/10.11834/jrs.20209200/
12.深度学习领域的数据增强机器之心第二个类别是基于深度学习的数据增强算法: 特征空间增强(Feature Space Augmentation):神经网络可以将图像这种高维向量映射为低维向量,之前讨论的所有图像数据增强方法都应用于输入空间中的图像。现在可以在特征空间进行数据增强操作,例如:SMOTE算法,它是一种流行的增强方法,通过将k个最近的邻居合并以形成新实例来缓解类不https://www.jiqizhixin.com/articles/2019-12-04-10