深度学习前沿应用图像风格迁移

丰富的线上&线下活动,深入探索云世界

做任务,得社区积分和周边

最真实的开发者用云体验

让每位学生受益于普惠算力

让创作激发创新

资深技术专家手把手带教

遇见技术追梦人

技术交流,直击现场

海量开发者使用工具、手册,免费下载

极速、全面、稳定、安全的开源镜像

开发手册、白皮书、案例集等实战精华

为开发者定制的Chrome浏览器插件

图像风格迁移是指利用算法学习著名画作的风格,然后再把这种风格应用到另一张图片上的技术。

风格迁移的两个要素是内容与风格。我们希望达成的效果是,输入一张图像,程序可以把它转化为带有某种特定风格的图像,同时保留图像中原有的内容信息,而这种风格应该是由人工智能从该类风格的图像中学习得到。

下面介绍两种简单的方法,它们并没有用到GAN,甚至第一种方法竟甭神经网络。

导读:

这是一种颜色风格迁移。首先引入Lab色彩空间的概念。色彩空间是对颜色的一种量化描述。例如常见的RGB颜色空间,R、G、B分别为红、绿、蓝三个分量。而Lab色彩空间,L为亮度,其值从0到100;a为红色到绿色之间的变化区域,正数时代表红色,负数时代表绿色,其值从-120到120;b为黄色到蓝色之间的变化区域,正数时代表黄色,负数时代表蓝色,其值从-120到120。

之所以将图像从RGB空间转换到Lab空间,是因为Lab图像表示亮度的L通道反映了图像的内容,要做风格转换,只需保留L通道,而将a和b通道替换。

可以通过学习风格图像从L通道到a、b通道的映射,即由对应的L值来决定a、b的值。

仅考虑单个L值到单个a\b值的映射太单一,我们用3x3的块——L值以及八个邻域的值,共9个值。

用KNN来实现这个映射,在风格图像的L通道中找到K个与内容图像最接近的块,将风格图像对应的a、b值加权求和作为迁移图像的a、b值,权重为块像素之差的平方和的倒数。

优点是内容图像和迁移图像可以不同尺寸,并且一次可以使用多张风格图像,实现多种风格的迁移。

第二种方法虽然也是一种老方法,但是它的做法对我来说反而是新奇的。

一般,我们用神经网络,是将网络的参数作为自变量,构造损失函数更新它们。但是现在反了过来,以输入作为自变量!

网络是预训练的,使用时固定参数不变,用于提取内容图像、风格图像以及迁移图像的特征,再用这些特征构造内容损失和风格损失。最小化迁移图像和内容图像的内容损失;最小化迁移图像和风格图像的风格损失。

首先,初始化迁移图像=一部分内容图像+一部分噪声。

由于我们只使用卷积部分提取特征,所以对代码作出一点修改。

计算内容损失使用层conv4_2,计算风格损失使用层conv1_1,conv2_1,conv3_1,conv4_1,conv5_1。

将所有最大池化改为平均池化,以改善梯度流。

defcontentloss(content,transfer):return0.5*P.sum((content-transfer)**2)风格损失略复杂,先引入格拉姆矩阵(GramMatrix)的概念。格拉姆矩阵由展平后的特征图两两作内积得到。

其中i、j是特征图通道的编号,k是展平后特征图的长度,也就是展平前的长x宽。

故风格损失构造为

defstyleloss(style,transfer,weight):loss=0foriinrange(len(style)):gram_style=gram(style[i])gram_transfer=gram(transfer[i])_,c,h,w=style[i].shapeloss+=weight[i]*P.sum((gram_style-gram_transfer)**2)/(2*c*h*w)**2returnlossdefadam(image_transfer,m,v,g,t,η,β1=0.9,β2=0.999,ε=1e-8):m=β1*m+(1-β1)*gv=β2*v+(1-β2)*g**2m_hat=m/(1-β1**t)v_hat=v/(1-β2**t)image_transfer-=η*m_hat/(P.sqrt(v_hat)+ε)returnimage_transfer,m,v(四)、生成图像定义一个训练函数,由于只更新迁移图像参数,因此只需要计算一次内容图像与风格图像的特征,而迁移图像的特征在每次更新迭代中都会发生变化:

上述方法训练虽然简单,但是只能处理相同大小的内容图像与风格图像,在某些应用场景中并不方便,PaddleHub也提供了图像风格迁移的接口,实现简单方便且高效,代码如下:

【学习的最大理由是想摆脱平庸,早一天就多一份人生的精彩;迟一天就多一天平庸的困扰。】

THE END
1.学习图片大全学习高清图片下载打开木桌上的复古书学习提升读书分相会阅读世界读书日 小学生欢乐的童年扔纸飞机希望工程希望小学校园开学季教育学生学习成长 学习教育白色上的矢量图标 背景创意书架书本文艺教育背景图片 楼梯书本楼梯阶梯学习提升读书分相会阅读世界读书日 平板电脑上突出的关系图从平板电脑投影图 https://www.51miz.com/so-tupian/159659/p_3/
2.学习图片素材素材学习图片素材png图片下载熊猫办公精心为您整理了80张适用于各种场景的精品学习背景图片,想要下载好看好用的学习背景图素材,更多背景壁纸、高清图片、动态背景模板,就到熊猫办公。https://www.tukuppt.com/speciall/xuexi6625.html
3.一起学习图片素材一起学习图片大全摄图网汇聚一起学习图片大全:一起学习素材、一起学习高清图片、一起学习背景图片等。你可以找一起学习设计灵感、摄影创意,我们欢迎您下载一起学习vrf正版授权图片,商用无压力https://m.699pic.com/image/yiqixuexi.html
4.从学渣到学霸,不是天赋差异,而是你没学会如何学习做题错题本实际上,每一个学渣都有逆袭的机会,只要你能够从细节入手,充分利用每一次错题的机会,主动掌握学习节奏,那么,就算你现在才起步,也完全有可能成为那个被其他人仰望的学霸。 所以,让我们从现在开始,不再给自己找借口,而是行动起来吧! 记住,逆袭的路上,最重要的不是起点,而是你如何坚持到终点。https://www.163.com/dy/article/JJ2JDUOS0556AKL7.html
5.学生思考学习图片学生思考学习素材学生思考学习图片下载视觉中国为您找到20837个原创学生思考学习素材图片,包括学生思考学习图片,学生思考学习插画,学生思考学习模板,学生思考学习元素,学生思考学习图标等源文件下载服务,包含PSD、PNG、JPG、AI、CDR等格式素材,更多关于学生思考学习素材、图片、海报、背景、插画、配图、https://www.vcg.com/creative-image/7459360
6.学习图片高清学习图片大全正版学习图片素材下载学习图片专题素材由Veer图库精选提供,内容涵盖:学习图片,商业学习图片,学习图片素材,高清学习图片大全等;需要正版学习图片素材下载需求就到Veer图库。https://www.veer.com/topic/1479/
7.学习图片学习壁纸高清学习图片大全动态图学习图片鼓励学习的经典语句 提醒自己学习 和我一起学习吧 学习使我进步 和哈咪猫一起好好学习 好好学习努力奋斗配图 滚去学习别动手机 高考好好学习努力奋斗 沉迷学习 今天翻书,明天数钱 天天向上 今天不学习,明天变垃圾 好好学习,天下无敌 我超爱学习 学会自律 沉迷学习,日渐消瘦http://www.deskcity.org/tag-%E5%AD%A6%E4%B9%A0/
8.学习图片图片学习图片图片素材免费下载千库网为设计者提供学习图片素材大全,为您省却学习图片图片素材搜索时间,这里有海量学习图片素材图片供您下载使用,本次搜索千库网为您找到10000张素材https://588ku.com/image/xuexitupian.html
9.努力学习图片努力学习素材觅元素为您精心挑选了63张内容丰富努力学习高清图片素材,帮助您进行努力学习作品创意设计,下载更多努力学习风格的图片、免抠png图片素材、背景图片素材就来觅元素。https://www.51yuansu.com/topic/nulixuexi-2.html
10.使用深度学习进行图像去噪图像深度去噪的定义使用深度学习架构会更好的解决这个问题。目前看深度学习远远超过了传统的去噪滤波器。在这篇文章中,我将使用一个案例来逐步解释几种方法,从问题的形成到实现最先进的深度学习模型,然后最终看到结果。 内容摘要 图像中的噪声是什么? 问题表述 机器学习问题提法 https://blog.csdn.net/deephub/article/details/113460288
11.第一届跨区域图学学科发展论坛成功举办大理大学校长杨顺清教授致辞,感谢了组委会对大理大学的信任与支持,表示将认真学习图学学科及相关领域的前沿成果和先进经验,持续深化教育教学改革,大力推进新工科建设,为地方经济建设和社会服务作出应有贡献。 济南科明数码技术股份有限公司董事长陈清奎致辞,盛赞本次论坛的召开开拓了图学学科发展跨区域交https://www.cgn.net.cn/cms/show.action?code=publish_4028801c5e28e7cc015f764919d603e1&siteid=100000&newsid=05fc672cf7e444b8be91bbf876bca011&channelid=0000000022
12.理论学习图片理论学习设计素材红动中国素材网提供111个理论学习图片、理论学习素材、理论学习背景、理论学习模板、理论学习海报等PS素材下载,包含PSD、AI、PNG、JPG、CDR等格式源文件素材,更多精品理论学习设计素材下载,就来红动中国,最后更新于2024-02-23 16:52:49。https://m.redocn.com/so-xuexi/c0edc2dbd1a7cfb0.htm
13.一文详解图表示学习LINE算法适用于任意类型的图,包括有向图、无向图、有权图和无权图。使用LINE算法学习到的embeddings可以保留顶点的局部结构和全局结构(local and global network structures)。其核心思想是使用一阶相似度first-order proximity表征==local structure==,使用二阶相似度second-order proximity表征==global structure== https://www.jianshu.com/p/09b92c6c8970
14.认真学习的图片认真看书图片大全看书图片唯美意境图片→认真学习的图片大全|俗话说活到老学到老,学习是无止境的,认真学习的人是最美的。小编为您推荐认真看书图片大全、努力学习的图片、学习素材图片等学生看书的图片供您欣赏。https://www.maigoo.com/tuku/515566.html
15.工程图学教学团队介绍“以赛促学注重实践”是学习图学课程的重要学习方法,在学习课程过程中引导同学参加“成图大赛”“3D大赛”“机械创新大赛”等各类学科竞赛,同学在竞赛中实践,在实践中成长,通过不断地实践,达到本课程的知识、能力和价值观目标。 1.《画法几何及机械制图》 课程面向国家对机械类人才的需求,结合专业人才培养目标,体现https://www5.zzu.edu.cn/mech/info/1177/2685.htm
16.全面详解!图卷积在动作识别方向的应用机器之心图卷积的核心思想是建立图中不同节点之间的信息交流,从而学习图中每个节点的嵌入特征表示,在只考虑一阶邻域的条件下,随着网络层数加深,每个节点的感受野都会越来越大,最终覆盖全图,实现信息的完全交互。 对于图分类任务,在最后一层图卷积后,通常会经过一层 readout 层,得到整个图的表示,然后用这个表示来进行分类。https://www.jiqizhixin.com/articles/2020-01-15-14
17.李海红平面图形的镶嵌说课稿3、请你仿照图案,设计一个平面镶嵌图,并写一篇小论文与同伴交流你的设计过程和原理。 作业完成后,拍照上传到云校家。 【设计意图】:这组课后练习题的设计,是为了更好的促进每一位学生得到不同的发展,培养学生的实践能力和创新能力,同时促进学生对自己的学习进行反思,为后续知识的学习起到承上启下的作用。利用云校https://zn.nxeduyun.com/index.php?r=space/org/build/content/view&id=2100222
18.利用人工智能从眼底照片推断眼病如上所述,医院在云端训练深度学习模型,并使用英特尔? 分发版 OpenVINO? 工具包构建了可在本地 PC 上运行的推理(识别)环境(图 2)。Sawa 教授这样描述该方案的提升潜力:“虽然可以只用一种推理模型实现多种症状的识别和分类,包括青光眼和黄斑变性。但是,我认为这样就很难在系统普适性和提高特定疾病识别准确性https://www.intel.cn/content/www/cn/zh/customer-spotlight/cases/using-ai-help-infer-eye-diseases-photographs.html
19.基于多模型特征与精简注意力融合的图像分类迁移学习与构建新的网络结构相比, 能够取得更好的效果. Inception-v3网络在包含1000个不同类别的被认为是计算机视觉分类任务基准数据集的ImageNet上进行训练, Inception-v3网络结构如图2所示, 由图2可知, Inception-v3网络内部集成了多个不同尺度大小的卷积核, 能够学习到不同尺度的特征. Inception-v3还通过将一个大https://c-s-a.org.cn/html/2021/11/8153.html
20.CVPR2023统一框架MAGE:表征学习超MAE澎湃号·湃客图4:MAGE 图像编辑样例 在表征学习方面,MAGE 在 ImageNet linear probing、少样本学习、迁移学习等任务中,相较于目前的 MIM 方法有了大幅提升,并且可以达到或超过目前最优的自监督学习方法的水平。 结语 本文旨在将图像生成与表征学习统一起来。为此,本文作者提出了 MAGE,一种基于图像语义符掩码的自监督学习框架。https://www.thepaper.cn/newsDetail_forward_22203159
21.学习报告:基于预测图像旋转的无监督表征学习表3 基于CIFAR-10的无监督特征学习方法的对比 同时作者还严谨地探究了下游任务图片分类准确度与辅助任务旋转角度分类准确度之间的联系,这里图片分类选用的是RotNet + non-linear方法。结果如图7左边子图所示,旋转预测任务的能力提高有助于下游任务的准确度提升。 https://www.scholat.com/teamwork/showPostMessage.html?id=10288