图像增强新思路:DeepLPFCV技术指南(公众号)

数码艺术家经常通过手动调整的方式改进图像的美学质量,这些调整既包含全局调整,也包含局部调整(比如分层渐变、画刷工具等)。然而,这些手动调整方法往往过于耗时且需要较强的专业技能。当前优异的自动图像增强方法往往聚焦于学习像素级或全局增强,前者可能存在噪声且缺乏可解释性,而后者则难以进行更细粒度的调整。

作者提出一种新颖的方法,它可以采用学习到的三种类型(椭圆滤波器、渐变滤波器以及多项式滤波器)的空间局部滤波器进行图像增强。作者引入一种深度神经网络(DeepLocalParametricFilters,DeepLPF)用于回归这些空间局部滤波器的参数并利用这些滤波器对图像进行增强。DeepLPF提供了一种很自然的形式进行模型正则、可解释性、直觉调整,从而生成具有更好视觉效果的图像。作者在多个数据集(Adobe-5K及变种)上验证了所提方法的优异性能.

该文主要有以下三点贡献:

下图提供了DeepLPF的椭圆形滤波器与渐变滤波器的可视化效果图。可以看到:DeepLPF可以自适应针对需要进行调整的区域执行不同的处理,这更符合人眼的视觉感知。

下图给出了专业人员采用Lightroom等工具进行调整的可视化效果图,这里提供了三种形式的调整:画笔形式、渐变形式、椭圆形式。事实上,用户在日常生活中对图像进行调整时往往是局部调整,全局调整相对较少。

上图给出了所提DeepLPF的网络架构示意图,给定低质输入RGB图像及其对应的高质图像,可以训练DeepLPF学习变换,此时有。

作者所设计的模型包含一个用于细粒度图像增强的单流(single-stream)网络,与一个用于局部增强的双流(two-stream)网络。

作者设计了一个轻量型的CNN用于滤波器参数预测,该网络采用一系列的卷积核池化操作逐步减小特征图的分辨率,最后接一个GAP(用于确保分辨率无关)与全连接层进行滤波器参数预测。激活函数选择LeakyReLU,同时全连接层后接dropout(50%,bothtrainandtest,为何推理阶段也要采用呢???)

前述三种滤波器预测网络的区别仅在于:最终全连接层的输出节点数,对应参数量。上图给出了不同滤波器的全连接层输出节点数。这里所设计的方案事实上与HDRNet一文中的方案是相通的,都是网络预测参数,而非直接输出增强图像,预测参数比直接增强图像更为高效。

渐变滤镜是图像编辑软件最常用的一种功能,比如它可被用于调整天空区域的对比度同时确保与非天空区域自然过渡。渐变滤波器可以通过三条平行线进行刻画:(1)中心线表征滤波器的位置和方向,可表示为;(2)偏移提供了另外两个参数。此时可调整映射图由四个离散部分构成,在100%区域所有像素乘以尺度参数;在100-50%区域尺度参数线性的从变化到;在50-0%区域尺度参数线性的从变化到0;在0%区域的像素不做任何调整。渐变滤波器可以通过以下公式进行描述:

其中,为二值变量。注:可以通过STE方式进行优化。

下图给出了渐变滤波器与椭圆滤波器的可视化图。

椭圆滤波器可以由中心、长半径、短半径以及旋转角度定义。中心区域的缩放因子最大,边界区域的缩小因子最小,超出椭圆范围后的尺度因子为0。椭圆滤波器的示意图见上图,椭圆滤波器可以通过如下公式定义:

多项式滤波器用于模仿画刷,提供了更广义的形状同时具有空域平滑性。作者仅考虑阶多项式,多项式形式为。其中,i表示图像灰度,表示图像坐标,表示独立尺度因子。

作者设计了两种多项式滤波器:cubic-10,cubic-20。cubic-10多项式定义如下:

cubic-20多项式定义如下:

作者所定义的三阶滤波器同时考虑空域与灰度信息,同时约束了映射图的复杂度,这确保了像素增强的局部平滑性以及精度。注:作者为每个颜色通道学习一组多项式滤波器,故而参数量分别是30和60。

作者在CIELab颜色空间计算损失,该损失包含两部分:(1)Lab通道的损失;(2)L通道的损失。总体损失函数定义如下:

数据集:作者选用了由两个数据集衍生出的三个数据集:

评价标准:主观评价标准PSNR、SSIM与感知评价标准LPIPS。

训练信息:优化器选择Adam,初始学习率为,不同数据集的损失超参分别为.

上表给出了消融实验结果对比,通过实验验证了不同成分的重要性。从中可以看到:

上图进一步验证了渐变滤波器与椭圆滤波器的影响性分析。滤波器数量的提升会进一步提升模型的PSNR、SSIm指标。

下面两个表格给出了所提方法在其他两个数据集上的性能对比。

前面主要从定量方面对比了所提方法与其他方法的性能优势,下面从视觉效果方面给出了所提方法相比其他方法的优势。

本文对用于图像增强的自动参数化滤波器进行探索与研究。受启发与专业图像编辑工具与软件,作者提出采用深度学习方式估计三种类型的滤波器(称之为滤镜可能更合适)参数,并用于指导图像增强。本文所提方法具有更好的可操作空间,同时具有更好的可解释性。该文为图像增强方法的研究打开了一扇窗户,它将有助于更多可落地AI画质算法的落地与产品化。

THE END
1.一文看尽深度学习中的各种数据增强数据增强的方式 数据增强的定义 数据增强通常是依赖从现有数据生成新的数据点来人为地增加数据量的过程。这包括对数据进行不同方向的扰动处理或使用深度学习模型在原始数据的潜在空间中生成新数据点以人为的扩充新的数据集。 这里需要区分两个概念,即增强数据和合成数据: 合成数据:在不使用真实世界图像的情况下人工生成https://zhuanlan.zhihu.com/p/598985864
2.深度学习领域的数据增强机器之心第二个类别是基于深度学习的数据增强算法: 特征空间增强(Feature Space Augmentation):神经网络可以将图像这种高维向量映射为低维向量,之前讨论的所有图像数据增强方法都应用于输入空间中的图像。现在可以在特征空间进行数据增强操作,例如:SMOTE算法,它是一种流行的增强方法,通过将k个最近的邻居合并以形成新实例来缓解类不https://www.jiqizhixin.com/articles/2019-12-04-10
3.2020.09.15更新)深度学习的低光照图像增强算法之前在做光照对于高层视觉任务的影响的相关工作,看了不少基于深度学习的低光照增强(low-light enhancement)的文章,于是决定简单梳理一下。 光照估计(illumination estimation)和低光照增强(low-light enhancement)的区别:光照估计是一个专门的底层视觉任务(例如[1,2,6]),它的输出结果可以被用到其它任务中,例如图像增https://blog.csdn.net/hyk_1996/article/details/99641652
4.图像增强算法深度学习图像增强算法有哪些图像增强算法深度学习 图像增强算法有哪些 一、直方图均衡化 ① 算法原理 直方图均衡化,一般可用于灰度图像的对比增强(如:人脸阴影部位增强); ② 算法优缺点 如果直接对彩色图像R,G,B三通道分别均衡化后再合并,极容易出现颜色不均、失真等问题,所以,一般会将RGB图像转换到YCrCb空间,对Y通道进行均衡化(Y通道代表https://blog.51cto.com/u_16099326/8806284
5.图像增强算法综述①小波变换图像增强,偏微分方程图像增强,分数阶 微分的图像增强,基于 Retinex 理论的图像增强和基于深度学习的图像增强算法,?并讨论了它们的改进算法.?然后, 从视觉效果,对比度,信息熵等方面对几种算法进行了定性和定量的对比,?分析了它们的优势和劣势.?最后,?对图 像增强算法的未来发展趋势作了简单的https://c-s-a.org.cn/csa/article/pdf/7956
6.图像增强算法综述15. 张莹. 暗光图像增强技术在矿用小型终端中的应用. 世界有色金属. 2024(14): 202-204 . 16. 章赵威,冯向萍,张世豪. 基于深度学习的玉米叶片病害识别方法研究. 现代计算机. 2024(13): 1-8+77 . 17. 王孟奇,连增增,田亚林,王鹏辉. 面向室内弱光环境的视觉与惯导融合算法研究. 导航定位与授时. 202http://www.chineseoptics.net.cn/en/article/id/9522
7.图像增强算法综述传统的图像增强算法主要包括直方图均衡化、对比度增强、锐化等,而随着深度学习技术的发展,卷积神经网络等算法也在图像增强领域取得了显著的成果。图像增强算法归纳与分析1、改进算法改进算法主要是对传统图像增强算法进行优化和改进,以提高增强效果和算法效率。例如,李等人在直方图均衡化算法中引入了自适应思想,能够根据图像https://shufang.docin.com/p-4524762954.html
8.低照度增强算法(图像增强+目标检测+代码)SMID python3 basicsr/train.py --opt Options/RetinexFormer_SMID.yml # SDSD-indoor python3 basicsr/train.py --opt Options/RetinexFormer_SDSD_indoor.yml # SDSD-outdoorxunlian python3 basicsr/train.py --opt Options/RetinexFormer_SDSD_outdoor.yml 在增强低光图像时,许多深度学习算法基于Retinex理论https://developer.aliyun.com/article/1446322
9.的图像去雾算法来啦!前面给大家介绍过14种低照度图像增强算法这个透射率告诉了图像去雾系统我们需要恢复多少被雾霾遮盖的细节。然后,系统会根据透射率对图片进行调整。它会让照片中的像素更加亮丽,同时减少雾霾造成的影响。具体来说,图像去雾算法可以分为基于图像增强的去雾算法、基于图像复原的去雾算法和基于深度学习的去雾算法。本文主要研究介绍基于深度学习的去雾算法介绍基于https://juejin.cn/post/7255312213480194107
10.深度学习技术的进展和未来四大趋势技术动态根据低质量图像的种类不同,图像增强应用可以包括图像去噪、图像超分辨率、图像去模糊以及亮度提升等。图像增强是计算机视觉领域的传统方向,在20世纪90年代已经成为研究热点。传统方法通常存在需要先验知识和涉及到复杂优化过程等问题。而深度学习为图像增强提供了一个全新的视角和思路,深度学习图像增强算法通常是基于“学习”http://news.21csp.com.cn/c15/202108/11408690.html
11.Light深度学习赋能下的光学计量澎湃号·湃客澎湃新闻图2 光学计量的典型图像处理过程(如条纹投影轮廓术)可分为三个主要步骤:预处理(如去噪、图像增强)、分析(如相位解调、相位展开)和后处理(如相位—深度映射) 图3 光学计量图像处理层次结构的概貌以及不同层中分布的各种图像处理算法 深度学习技术 原理、发展与卷积神经网络 https://www.thepaper.cn/newsDetail_forward_16995760
12.EuropeanRadiology:深度学习图像重建,实现腹部增强双能量CT图像深度学习图像重建(DLIR)是一种新的CT重建方法,其中深度卷积神经网络(DCNN)被纳入了DLIR的图像重建算法,可通过高质量的CT图像数据集进行训练学习如何区分噪音和信号。 近年来,双能量计算机断层扫描(DECT)在临床CT成像研究中得到了越来越多的应用。DECT成像的基本原理是根据不同能量下的吸收值差异来分离物质,通过生成https://www.medsci.cn/article/show_article.do?id=94b6e28860b5
13.总结62种在深度学习中的数据增强方式业界新闻这时候数据增强的优势便充分的体现出来了 还有就是模型性能的提升 卷积神经网络对平移、视点、大小或光照均具有不变性 也正因此,CNN能够准确地对不同方向的物体进行分类 在深度学习中,CNN通过对输入图像进行卷积运算来学习图像中的不同特征,从而在计算机视觉任务上表现非常出色 https://www.jindouyun.cn/document/industry/article/183115
14.瘦脸瘦腿太初级,揭秘“亚洲秘术”美颜美体特效图像清晰度增强 最后补充的技术点是图像的清晰度增强。手淘包括各种短视频场景,用户可能会上传各种质量的视频,如用户所处的场景可能会导致直播质量或者图片质量比较差。 针对这个问题,我们研发了一款基于移动端的hdr-net的图像清晰度增强算法。该算法是基于深度学习的方案,通过CNN去输出一个颜色查找表,同时我们通过CNN网https://new.qq.com/omn/20220313/20220313A03FNH00.html
15.增强型DeepLab算法和自适应损失函数的高分辨率遥感影像分类夏梦等(2017)结合深度学习和条件随机场,在输入图像中增加了纹理信息,得到了比SVM分类器更好的提取效果,但其网络结果中,输出层地物位置信息没有得到足够的保留。在DeepLab v2网络的基础上,Chen等(2018a)提出了Na?ve-SCNN和Deeper-SCNN网络,并提出增强视场的方法,使用ISPRS的高分辨率语义分割数据集,成功提高了训练https://www.ygxb.ac.cn/zh/article/doi/10.11834/jrs.20209200/
16.科学网—基于深度学习的单幅图像超分辨率重建算法综述在深度学习未兴起前,经典的单幅图像超分辨率算法占据主导地位, Lanczos重采样[1]和双三次插值[2]得到了广泛的应用,但采用插值方法有时会导致图像边缘和细节模糊,因此其他传统算法也被相继提出[3-5],有效地增强了图像的质量.经典的超分辨率重建算法需要很多先验知识,且要求研究者具有深厚的专业知识储备.随着深度学习的https://blog.sciencenet.cn/blog-3291369-1347645.html