十种图像去雾算法——原理+对比效果图十种超全的图像去雾算法来啦!前面给大家介绍过14种低照度图像增强算法,今天来说一说那

对于炼丹师、调参侠来说网络参数就显得尤为重要了叭,下面来看一下网络参数的具体设置:

训练过程中,研究人员使用这些合成的图像对来训练DehazeNet。他们以有雾霾图像为输入,真实无雾霾图像为目标输出,通过迭代地调整网络参数,让DehazeNet逐渐学会去雾的本领。当训练完成后,它就能用于处理单个含有雾霾的图像,直接生成清晰的图像了!

好了,如果你对DehazeNet感兴趣,不妨去看看上面的论文链接和代码链接,深入了解并尝试应用这个神奇的算法吧!

超酷的MSCNN(多尺度卷积神经网络)方法,听我慢慢道来:

首先,他们把户外场景的真实图片当成训练数据,每张图都有原始版本和去雾后的版本。然后,他们设计了一个多尺度卷积神经网络,也就是MSCNN,这网络真是厉害,可以同时看到图片的细节和整体特征。

接着,为了更加完美地去雾,他们还使用了一种超级有意思的边缘检测算法,这种边缘就像图片的轮廓一样,是很重要滴!

看这个方法的整体架构,就像一条流水线,经过训练之后,他们可以拿着训练好的模型,对任何一张模糊图进行处理,就像魔术师一样,估计出图片的透视图,然后根据这个估计值来生成清晰的去雾图。下面来让我们看看它的具体模型架构叭:

下图中的(a)是提出的单幅图像去雾算法的主要步骤。为了训练这个多尺度网络MSCNN,作者以深度图像数据集合成朦胧图像和相应的传输图为基础(盆友们还记不记得上个DehazeNet使用的是合成的有雾霾图像和相对的无雾霾图像的雾霾图像对)。在测试阶段呢,基于训练好的模型估计输入的模糊图像的透视图,然后利用估计的大气光和计算的透射图生成去雾图像。

下图中的(b)是多尺度卷积网络。给定一幅模糊滴图像,粗尺度网络(也就是图中绿色虚线框)先预测出一个整体的传输图,并将其提供给精细尺度网络(图中的橙色虚线框),用以生成一个精细的传输图。然后,作者使用整体边缘来细化透射图,使它在同一物体内部平滑。蓝色虚线表示的是连接操作。

当然,也有一些小缺点。这个方法的计算复杂度有点高,可能处理大图的时候会有些慢。而且,对输入参数要求有点挑剔,需要细心调整(调参侠上场)。有时候,可能会在处理的过程中损失一些细节,但总体来说,效果还是相当出色滴

这个AOD-Net真的很有创意,它不像其他方法那样麻烦,需要估计传输矩阵和大气光(大部分方法都得计算这个嗷)。它直接就能通过轻量级CNN生成清晰干净的图像,很是方便。而且,它还会估计透射率图,就是告诉你每个像素里有多少雾气,然后利用这个图来精准地去除雾霾,听着是不是很是高级!

这个AOD-Net还特别灵活,可以跟其他深度学习模型结合(例如我们目标检测常用的模型FasterR-CNN)变成更厉害的“组合拳”,提高在模糊图像上的任务性能。就像超级英雄们联合战斗一样,效果简直不要太牛!

这个网络的整体架构也很有意思,分成了两个模块:K-估计模块和干净图像生成模块。K-估计模块负责估计深度和雾度水平,通过多尺度特征来抓住不同尺度的信息,真是细致入微!干净图像生成模块就像一个魔法师,根据K-估计模块的输出,快速生成清晰的图像。下面让我们具体看一看它的结构叭:

K-估计模块是AOD-Net的关键组件,负责估计深度和相对雾度水平。如下图(b)所示,作者使用了五个卷积层,并通过融合不同尺寸的滤波器形成多尺度特征。AOD-Net的“concat1”层连接了“conv1”层和“conv2”层的特征。类似地,“concat2”连接来自“conv2”和“conv3”的特征;“concat3”连接“conv1”、“conv2”、“conv3”和“conv4”的特征。这种多尺度的设计捕获了不同尺度的特征,中间连接也补偿了卷积过程中的信息损失。值得注意的是,AOD-Net的每个卷积层仅使用三个滤波器。所以说,与现有的深度方法相比,AOD-Net是轻量级的。在K-估计模块之后,干净图像生成模块由一个逐元素乘法层和多个逐元素加法层组成,以便生成恢复图像。

总的来说,AOD-Net的这种“一体式”设计真的很新颖,让我们能够更方便地享受去雾的魔力。它在大量数据集的学习下,可以在各种场景下轻松应对各种雾霾

为了便于理解K-估计模块,这里给出了五个卷积层的实现代码:

这个算法的核心思想很有趣,它通过建立图像中像素之间的相似性关系,来获取周围区域的参考信息。就像图像中的小侦探,从其他像素中偷偷获取信息,然后用这些信息帮助当前像素去雾处理。下面就让我们来看看一种常见的Non-localimagedehazing算法的步骤叭:

这个算法的优点很多哦,去雾效果特别好,细节和色彩都保留得很好,而且它自适应性强,不需要预设参数,适用于各种不同场景。而且,它不需要额外的输入,仅利用图像自身信息就能处理,非常方便。

整个半监督学习的框架看起来如下图所示。它有两个分支,一个是“监督分支”,另一个是“无监督分支”,它们权值一样哦。监督分支使用标记的合成数据来训练,而且有好几种损失函数,包括均方误差、感知误差和对抗性误差,这些都帮助它学习去雾的技巧。而无监督分支则使用未标记的真实数据,它的损失函数有暗信道损失和总变化,也是为了让它懂得如何去雾。

这个技术真的很棒,它有好多优点!首先,去雾效果特别好,让图像质量大大提升,细节重现眼前(服气啦,每个去雾算法都是这么标榜自己,一点都不谦虚);半监督学习的灵活性让它更适应不同的图像场景,而且还可以轻松拓展。不过当然,它也有一些小小的缺点,比如需要有标注数据的支持,而且对雾霾密度变化比较敏感,需要适当的参数调整。

EPDN是一种用于图像去雾的深度学习模型,它基于pix2pix模型,可不是闹着玩的哦,pix2pix是一种厉害的生成对抗网络。而EPDN在这个基础上,还进行了一系列改进,就像是给pix2pix加了一剂“雾霾驱逐剂”,让去雾效果变得更出色。

说到数据集,EPDN可是偷偷收集了大量的雾霾图像和对应的清晰图像对,这些图像对让模型学会了怎么去除雾霾,还原图像的每一个细节。上个算法中提到了,以前的图像去雾算法,都得依赖一大堆完全标记的数据,那要找这么多标记数据,简直比钻石还贵!EPDN可不一样,它是半监督学习的高手,利用了已标记的图像和未标记的图像数据,让模型吸收了大量的知识,变得又快又准(类似SSLD算法)

为了让模型训练得更聪明,EPDN使用了多种损失函数,感知损失、内容损失和对抗性损失等等,这些损失函数像是模型训练的“好朋友”,帮助生成器创造出更真实、更清晰的图像,而判别器则更善于辨别生成的图像和真实的清晰图像。

而EPDN的网络架构也是精心设计的,生成器采用了深层卷积神经网络,还引入了“跳跃连接”,这就像是给模型增加了“天线”,让它在不同层级上获取更多的上下文信息,这样一来,去雾的效果更出色了。

还有一个绝密的武器——“增强块”,它能够按不同尺度重建图像,就像是“缩时穿梭”,在不同尺度上恢复图像的细节,让照片更美丽、更自然。

别以为EPDN就只靠自己了,它还可以利用先验知识来指导去雾过程,就像是有一张“藏宝图”,可以根据天气条件、场景结构等信息,更准确地还原雾霾图像中的每一个细节。

好啦,说了这么多,下面来看一看它的具体结构,它包含多分辨率生成器,多尺度判别器和增强器。

多分辨率生成器由全局子生成器G1和局部子生成器G2组成。如上图所示,G1和G2都包括一个卷积前端、三个残差块和一个转置卷积后端。G1的输入是对原始模糊图像进行2倍下采样。G1嵌入到G2中,G1的输出与G2的卷积前端获得的特征图的逐元素和被馈送到G2的残差块中。全局子生成器创建粗尺度的图像,而局部子生成器创建精细尺度的图像。两个子生成器的组合产生从粗到细的图像。

多尺度判别器模块包含名为D1和D2的两个尺度判别器。D1和D2具有相同的架构,D2的输入是D1输入的2倍下采样。生成器的输出被馈送到D1。多尺度判别器可以引导生成器从粗到细。一方面,D2引导生成器生成粗尺度的全局伪真实图像。另一方面,D1在精细范围内引导生成器。

增强块如下图所示。具体来说,增强块中有两个3×3前端卷积层。前端卷积层的输出按4×、8×、16×、32×因子下采样,构建四尺度金字塔。不同尺度的特征图提供不同的感受野,这有助于在不同尺度上重建图像。然后采用1×1卷积进行降维。之后将特征图上采样到原始大小,并将它们与前端卷积层的输出连接在一起。最后在特征图的串联上实现3×3卷积。

咱们来看看DAD的“魔法秘籍”吧!首先,它采用了两个步骤进行特征对齐,就像是找到源领域和目标领域之间的“共同语言”,让它们的特征空间更加接近。然后,通过自适应批归一化,进一步缩小了源域和目标域的特征分布,就像是把它们融合在一起,让去雾效果更加一致。

为了让源领域和目标领域之间的特征更好地对齐,DAD引入了一个领域适应损失函数,这个函数不仅包括了最大均值差异损失,还有感知损失,就像是把源领域和目标领域的特征表示进行约束,让它们更加一致。

下图是所提出的图像去雾域适应框架的架构。该框架由两部分组成,一个图像翻译模块和两个图像去雾模块。图像翻译模块将图像从一个域翻译到另一域以减少域差异。图像去雾模块在合成域和真实域上执行图像去雾。

然后,PSD会用这些合成图像和对应的清晰图像来训练一个深度神经网络,这个网络可以把有雾图像变成无雾图像,就像是变魔法般的转换。通过这么多的合成图像对,网络可以学到雾霾和图像之间的奥秘关系。

接着,PSD在去雾过程中,利用训练好的神奇网络来估计透射图,这个透射图表示每个像素处的雾霾程度。但是,为了更好地约束这个透射图,PSD引入了物理先验,就像是加了一层魔法保护罩,让估计更准确叭

为了更好地实现去雾,PSD会通过优化过程进一步改善透射图的估计,结合物理先验和数据驱动的深度学习,获得更准确和真实的透射图。这样一来,图像的雾霾分布和属性就更好地被反映出来了。

最后,PSD要做的就是利用优化后的透射图,对输入的有雾图像进行去雾处理。它会巧妙地修复和恢复图像,增强可见度,还原场景细节,简直就像是让照片“重生”一样滴

PSD也有很多优点哦,它有物理先验引导,数据驱动学习,提高了可见度,让去雾过程更加原则和可靠。当然,也有一些挑战,比如训练数据依赖性、计算复杂度较高,还对光照条件有点敏感。

多尺度增强去雾网络与密集特征融合(Multi-scaleboosteddehazingnetworkwithdensefeaturefusion,MSBDN)是一种用于改善模糊或有雾图像的深度学习模型。算法的各个组成部分如下:

GFN的超能力不仅仅表现在去雾效果上,它还内在残留学习,就像是有了一种奇妙的记忆力,能够持续改进。而且,它的计算成本低,就像是使用了一种高效的魔法;

但是嘛,GFN也有一些小小的缺点。它需要大量的训练数据,就像是需要一些实践和磨练。而且,对于输入图像的质量有点敏感,需要有些耐心等待它的效果。

让我们自己总结一下叭:GFN是一种端到端的模型,可以通过训练数据集上的监督学习进行训练。训练过程中,可以使用配对的有雾图像和无雾图像作为输入和目标,利用损失函数来指导模型学习去除雾霾的映射关系。训练完成后,该模型可以应用于任意单幅有雾图像的去雾处理。

学完这十种去雾算法的基本原理之后,让我们一起来看看它们的去雾表现到底怎么样叭(论文效果图)

一口气学了这么多去雾算法,让我们来总结一下叭:

你可以将这些去雾算法想象成不同种类的“魔法”,每种都有自己独特的特点和适用场景。

所以,不同的去雾方法各有千秋,适用于不同的场景和需求。在实际应用中,你可以根据具体情况,选择合适的方法来解决雾霾问题。有时候,也可以将它们结合起来,形成更强大的去雾策略!

THE END
1.AI在自然语言处理中的突破:从理论到应用腾讯云开发者社区多模态学习:融合视觉、听觉和文本等多种模态的信息,实现更智能的交互和理解。 跨语言模型:开发能够理解和生成多种语言的统一模型,消除语言障碍。 人机协作:通过增强人机协作能力,提高工作效率和用户体验。 结论 自然语言处理技术的突破,不仅推动了理论研究的发展,也在实际应用中取得了丰硕成果。从机器翻译到情感分析,再https://cloud.tencent.com/developer/article/2479408
2.一文详细归纳算法数据增强方法需要关注的是,数据增强样本也有可能是引入片面噪声,导致过拟合。此时需要考虑的是调整数据增强方法,或者通过算法(可借鉴Pu-Learning思路)选择增强数据的最佳子集,以提高模型的泛化能力。 常用数据增强方法可分为:基于样本变换的数据增强及基于深度学习的数据增强。 https://blog.csdn.net/2301_78285120/article/details/132388494
3.强化学习详解:理论基础与核心算法解析本文详细介绍了强化学习的基础知识和基本算法,包括动态规划、蒙特卡洛方法和时序差分学习,解析了其核心概念、算法步骤及实现细节。 关注作者,复旦AI博士,分享AI领域全维度知识与研究。拥有10+年AI领域研究经验、复旦机器人智能实验室成员,国家级大学生赛事评审专家,发表多篇SCI核心期刊学术论文,上亿营收AI产品研发负责人。https://www.jianshu.com/p/09c44358b4a6
4.总结62种在深度学习中的数据增强方式业界新闻Local Augment,即局部增强的原理是将图像切分成小块,并在每个小块上应用不同类型的数据增强 目的是潜在地改变目标偏差属性,但产生显着的局部特征 虽然这种增强并不主宰全局结构,但提供了非常多样化的图像特征,这对于神经网络以更通用的方式学习局部特征至关重要 https://www.jindouyun.cn/document/industry/article/183115
5.2021届计算机科学方向毕业设计(论文)阶段性汇报基于多智能体增强学习的交互式图像分割算法研究 本课题旨在利用强化学习算法,将与人类的不断交互的信息引入到图像分割的过程中,从而实现交互式的图像分割,增加分割的准确率和收敛速度,最终降低分割所需要的标注成本。 目前现已基于开源的ppo强化学习算法进行修改,完成了算法主体部分的代码框架搭建,并且完善了数据处理、https://zhiyuan.sjtu.edu.cn/html/zhiyuan/announcement_view.php?id=3943
6.一文梳理ICML2022中图机器学习热点和趋势▲ 图局部增强算法。来源:Liu等人[64] 下一篇是 Yu,Wang 和 Wang 等人 [66] 提升GNN 速度的工作。普通的邻域采样算法,例如 GraphSAGE,会导致邻域以指数速度增长和过时的历史 embedding。这篇论文则是提出了 GraphFM,利用 momentum 和 1-hop 邻域来更新每个点的历史 embedding。在此之前,momentum 常用于各种自https://www.zhuanzhi.ai/document/551b27b7936ef0889d86181f1f2c3e88
7.基于深度学习的水下图像增强算法研究所以,本文针对水下图像存在的局部或整体模糊、色彩饱和度低等问题,提出一种基于深度学习的水下图像增强算法。首先,采用一种残差递归对抗网络模型对水下图像进行去模糊处理。该模型采用多尺度体系结构,每个尺度上网络模型保持一致,均采用包含四个残差块的递归块结构和卷积长短时记忆网络单元构成。由于模型中使用递归结构,https://wap.cnki.net/lunwen-1020122283.html
8.图像增强算法综述①?增强图像的整体效果或是局部细节, 从而提高整体与部分的对比度,?抑制不必要的细节信息,?改善图像的质量,?使其符合人眼的视觉特性.?首先,?本文从 图像增强算法的基本原理出发,?归纳了直方图均衡图像增强,小波变换图像增强,偏微分方程图像增强,分数阶 微分的图像增强,基于 Retinex 理论的图像增强和https://c-s-a.org.cn/csa/article/pdf/7956
9.学习报告:脑电图数据增强——解决睡眠分期任务中的类别失衡问题该文章提出了五种数据增强的方法,包括重复少数类(DAR)、脑电图信号形态变化(DAMC)、信号分割和重组(DASR)、数据集到数据集的传输(DAT),以及最先进的生成算法GAN(DAGAN)。 1.重复少数类(DAR) 少数类的重复样本是一种简单的方法,通过简单地从少数类[2]中随机复制选定的样本。在训练过程中对该方法进行了验证。https://www.scholat.com/teamwork/teamwork/showPostMessage.html?id=13309
10.图像增强算法综述基于局部自适应对比度增强算法的木板条纹识别. 信息与电脑(理论版). 2020(22): 57-59 . 97. 苏航,文畅,谢凯,贺建飚. 最大熵轮廓提取下的脸部区域自适应提取算法. 计算机工程与设计. 2019(01): 197-202 . 98. 王园园,赵耀宏,罗海波,李方舟. 海面红外图像的动态范围压缩及细节增强. 红外与激光工程. http://www.chineseoptics.net.cn/en/article/id/9522
11.神经网络在低照度图像增强中的应用相比于传统的图像增强算法,RetinexNet具有以下优点: 强大的特征提取能力:卷积神经网络可以有效地提取图像的局部特征和全局特征,从而更好地捕捉到图像的细节和纹理信息。 自动学习增强策略:RetinexNet通过训练自动学习增强策略,避免了传统增强方法中需要手动调整参数的问题。 适用于不同场景:RetinexNet可以适用于不同的低https://developer.baidu.com/article/detail.html?id=2302053