图像增强新思路:DeepLPFCV技术指南(公众号)

数码艺术家经常通过手动调整的方式改进图像的美学质量,这些调整既包含全局调整,也包含局部调整(比如分层渐变、画刷工具等)。然而,这些手动调整方法往往过于耗时且需要较强的专业技能。当前优异的自动图像增强方法往往聚焦于学习像素级或全局增强,前者可能存在噪声且缺乏可解释性,而后者则难以进行更细粒度的调整。

作者提出一种新颖的方法,它可以采用学习到的三种类型(椭圆滤波器、渐变滤波器以及多项式滤波器)的空间局部滤波器进行图像增强。作者引入一种深度神经网络(DeepLocalParametricFilters,DeepLPF)用于回归这些空间局部滤波器的参数并利用这些滤波器对图像进行增强。DeepLPF提供了一种很自然的形式进行模型正则、可解释性、直觉调整,从而生成具有更好视觉效果的图像。作者在多个数据集(Adobe-5K及变种)上验证了所提方法的优异性能.

该文主要有以下三点贡献:

下图提供了DeepLPF的椭圆形滤波器与渐变滤波器的可视化效果图。可以看到:DeepLPF可以自适应针对需要进行调整的区域执行不同的处理,这更符合人眼的视觉感知。

下图给出了专业人员采用Lightroom等工具进行调整的可视化效果图,这里提供了三种形式的调整:画笔形式、渐变形式、椭圆形式。事实上,用户在日常生活中对图像进行调整时往往是局部调整,全局调整相对较少。

上图给出了所提DeepLPF的网络架构示意图,给定低质输入RGB图像及其对应的高质图像,可以训练DeepLPF学习变换,此时有。

作者所设计的模型包含一个用于细粒度图像增强的单流(single-stream)网络,与一个用于局部增强的双流(two-stream)网络。

作者设计了一个轻量型的CNN用于滤波器参数预测,该网络采用一系列的卷积核池化操作逐步减小特征图的分辨率,最后接一个GAP(用于确保分辨率无关)与全连接层进行滤波器参数预测。激活函数选择LeakyReLU,同时全连接层后接dropout(50%,bothtrainandtest,为何推理阶段也要采用呢???)

前述三种滤波器预测网络的区别仅在于:最终全连接层的输出节点数,对应参数量。上图给出了不同滤波器的全连接层输出节点数。这里所设计的方案事实上与HDRNet一文中的方案是相通的,都是网络预测参数,而非直接输出增强图像,预测参数比直接增强图像更为高效。

渐变滤镜是图像编辑软件最常用的一种功能,比如它可被用于调整天空区域的对比度同时确保与非天空区域自然过渡。渐变滤波器可以通过三条平行线进行刻画:(1)中心线表征滤波器的位置和方向,可表示为;(2)偏移提供了另外两个参数。此时可调整映射图由四个离散部分构成,在100%区域所有像素乘以尺度参数;在100-50%区域尺度参数线性的从变化到;在50-0%区域尺度参数线性的从变化到0;在0%区域的像素不做任何调整。渐变滤波器可以通过以下公式进行描述:

其中,为二值变量。注:可以通过STE方式进行优化。

下图给出了渐变滤波器与椭圆滤波器的可视化图。

椭圆滤波器可以由中心、长半径、短半径以及旋转角度定义。中心区域的缩放因子最大,边界区域的缩小因子最小,超出椭圆范围后的尺度因子为0。椭圆滤波器的示意图见上图,椭圆滤波器可以通过如下公式定义:

多项式滤波器用于模仿画刷,提供了更广义的形状同时具有空域平滑性。作者仅考虑阶多项式,多项式形式为。其中,i表示图像灰度,表示图像坐标,表示独立尺度因子。

作者设计了两种多项式滤波器:cubic-10,cubic-20。cubic-10多项式定义如下:

cubic-20多项式定义如下:

作者所定义的三阶滤波器同时考虑空域与灰度信息,同时约束了映射图的复杂度,这确保了像素增强的局部平滑性以及精度。注:作者为每个颜色通道学习一组多项式滤波器,故而参数量分别是30和60。

作者在CIELab颜色空间计算损失,该损失包含两部分:(1)Lab通道的损失;(2)L通道的损失。总体损失函数定义如下:

数据集:作者选用了由两个数据集衍生出的三个数据集:

评价标准:主观评价标准PSNR、SSIM与感知评价标准LPIPS。

训练信息:优化器选择Adam,初始学习率为,不同数据集的损失超参分别为.

上表给出了消融实验结果对比,通过实验验证了不同成分的重要性。从中可以看到:

上图进一步验证了渐变滤波器与椭圆滤波器的影响性分析。滤波器数量的提升会进一步提升模型的PSNR、SSIm指标。

下面两个表格给出了所提方法在其他两个数据集上的性能对比。

前面主要从定量方面对比了所提方法与其他方法的性能优势,下面从视觉效果方面给出了所提方法相比其他方法的优势。

本文对用于图像增强的自动参数化滤波器进行探索与研究。受启发与专业图像编辑工具与软件,作者提出采用深度学习方式估计三种类型的滤波器(称之为滤镜可能更合适)参数,并用于指导图像增强。本文所提方法具有更好的可操作空间,同时具有更好的可解释性。该文为图像增强方法的研究打开了一扇窗户,它将有助于更多可落地AI画质算法的落地与产品化。

THE END
1.图像增强技术:从传统方法到深度学习传统图像增强方法主要基于手工设计的特征提取和处理策略,缺乏模型的表示能力。深度学习图像增强方法则通过训练深度学习模型,自动学习图像特征和增强策略,具有更强的表示能力和泛化性。 3.核心算法原理和具体操作步骤以及数学模型公式详细讲解 3.1 直方图均衡化 https://blog.csdn.net/universsky2015/article/details/137300109
2.深度学习图像增强算法总结mob64ca12d36217的技术博客随着人工智能技术的迅猛发展,图像处理尤其是图像增强领域也取得了显著进展。图像增强的目的是改善图片的质量,使其更适合后续的分析或展示。深度学习的引入,使得图像增强技术愈加成熟,方法也愈加丰富。本文将总结几种基于深度学习的图像增强算法,并提供代码示例。 https://blog.51cto.com/u_16213312/12040112
3.基于深度学习的水下图像增强方法研究(2)针对特殊的水下环境所造成的水下图像偏色问题,提出一种基于深度卷积神经网络的水下偏色图像增强算法。该算法采用U-Net网络作为基础网络,构建了一种基于偏色图像的卷积神经网络,不断学习输入图像与输出图像的色彩偏差,并设定结构相似性度量作为损失函数,使增强后的水下图像与输入的水下图像在内容结构细节上保持https://wap.cnki.net/lunwen-1021640751.html
4.基于深度学习的低照度图像增强算法研究【摘要】:在低照度环境或者设备补光能力不足时,所采集的图像大部分是低照度图像,这些图像会出现亮度低、不清晰、对比度低等问题,这些缺点严重影响了图像在后续计算机视觉任务中的处理。因此,增强低照度图像对后续的目标识别、语义分割等任务有着重要意义。深度学习算法是通过建立类似人脑信息处理机制的网络模型,采取高效https://cdmd.cnki.com.cn/Article/CDMD-10703-1021819042.htm
5.图像增强算法综述15. 张莹. 暗光图像增强技术在矿用小型终端中的应用. 世界有色金属. 2024(14): 202-204 . 16. 章赵威,冯向萍,张世豪. 基于深度学习的玉米叶片病害识别方法研究. 现代计算机. 2024(13): 1-8+77 . 17. 王孟奇,连增增,田亚林,王鹏辉. 面向室内弱光环境的视觉与惯导融合算法研究. 导航定位与授时. 202http://www.chineseoptics.net.cn/en/article/id/9522
6.低照度增强算法(图像增强+目标检测+代码)SMID python3 basicsr/train.py --opt Options/RetinexFormer_SMID.yml # SDSD-indoor python3 basicsr/train.py --opt Options/RetinexFormer_SDSD_indoor.yml # SDSD-outdoorxunlian python3 basicsr/train.py --opt Options/RetinexFormer_SDSD_outdoor.yml 在增强低光图像时,许多深度学习算法基于Retinex理论https://developer.aliyun.com/article/1446322
7.低光照图像增强算法综述.docx传统的低光照图像增强算法在一定程度上提高了图像的视觉效果,但仍然存在一些问题,如噪声增强、细节丢失等。因此,近年来,随着深度学习技术的发展,越来越多的研究者开始关注基于深度学习的低光照图像增强算法。四、基于深度学习的低光照图像增强算法近年来,深度学习在计算机视觉任务中取得了显著的成果,尤其是在图像增强和https://www.renrendoc.com/paper/319219630.html
8.基于GAN和U图像质量和细节的恢复还有很大提升空间. 2 生成对抗网络原理 本文针对传统增强方法的不足和现有基于深度学习算法的特点, 提出使用生成对抗网络作为模型框架进行低光照图像增强的方法. 本节介绍生成对抗网络的基本原理, 及目前主流的PatchGAN思想. 2.1 生成器和判别器https://c-s-a.org.cn/html/2022/5/8431.html
9.的图像去雾算法来啦!前面给大家介绍过14种低照度图像增强算法这个透射率告诉了图像去雾系统我们需要恢复多少被雾霾遮盖的细节。然后,系统会根据透射率对图片进行调整。它会让照片中的像素更加亮丽,同时减少雾霾造成的影响。具体来说,图像去雾算法可以分为基于图像增强的去雾算法、基于图像复原的去雾算法和基于深度学习的去雾算法。本文主要研究介绍基于深度学习的去雾算法介绍基于https://juejin.cn/post/7255312213480194107
10.基于深度学习的图像超分辨率增强技术在计算机视觉和图像处理领域,图像超分辨率增强是一项重要的技术。它的目标是利用计算机算法将低分辨率图像转换为高分辨率图像,从而提高图像的清晰度和细节表现力。传统的图像放大方法往往会导致图像模糊和失真,而基于深度学习的图像超分辨率增强技术则能够更好地保留图像细节和纹理,得到更加真实和清晰的图像。 https://www.jianshu.com/p/a13ccf05ccaa
11.Light深度学习赋能下的光学计量澎湃号·湃客澎湃新闻图2 光学计量的典型图像处理过程(如条纹投影轮廓术)可分为三个主要步骤:预处理(如去噪、图像增强)、分析(如相位解调、相位展开)和后处理(如相位—深度映射) 图3 光学计量图像处理层次结构的概貌以及不同层中分布的各种图像处理算法 深度学习技术 原理、发展与卷积神经网络 https://www.thepaper.cn/newsDetail_forward_16995760
12.总结62种在深度学习中的数据增强方式业界新闻或使用深度学习模型在原始数据的潜在空间(latent space)中生成新数据点从而人为的扩充新的数据集 这里我们需要区分两个概念,即增强数据和合成数据 》合成数据 指在不使用真实世界图像的情况下人工生成数据 合成数据可由GAN或者现如今大火的AGI技术Diffusion Model生成 https://www.jindouyun.cn/document/industry/article/183115
13.深度学习领域的数据增强机器之心第二个类别是基于深度学习的数据增强算法: 特征空间增强(Feature Space Augmentation):神经网络可以将图像这种高维向量映射为低维向量,之前讨论的所有图像数据增强方法都应用于输入空间中的图像。现在可以在特征空间进行数据增强操作,例如:SMOTE算法,它是一种流行的增强方法,通过将k个最近的邻居合并以形成新实例来缓解类不https://www.jiqizhixin.com/articles/2019-12-04-10
14.增强型DeepLab算法和自适应损失函数的高分辨率遥感影像分类夏梦等(2017)结合深度学习和条件随机场,在输入图像中增加了纹理信息,得到了比SVM分类器更好的提取效果,但其网络结果中,输出层地物位置信息没有得到足够的保留。在DeepLab v2网络的基础上,Chen等(2018a)提出了Na?ve-SCNN和Deeper-SCNN网络,并提出增强视场的方法,使用ISPRS的高分辨率语义分割数据集,成功提高了训练https://www.ygxb.ac.cn/zh/article/doi/10.11834/jrs.20209200/
15.科学网—基于深度学习的单幅图像超分辨率重建算法综述在深度学习未兴起前,经典的单幅图像超分辨率算法占据主导地位, Lanczos重采样[1]和双三次插值[2]得到了广泛的应用,但采用插值方法有时会导致图像边缘和细节模糊,因此其他传统算法也被相继提出[3-5],有效地增强了图像的质量.经典的超分辨率重建算法需要很多先验知识,且要求研究者具有深厚的专业知识储备.随着深度学习的https://blog.sciencenet.cn/blog-3291369-1347645.html