AI绘画:StableDiffusion炼丹Lora攻略实战萌宠图片生成写在前面的话近期在小红书发现了许多极其可爱

于是想着看看利用AI绘画StableDiffusion以下简称(SD)做出来。

以下是详细实操的全过程,包括所有用的资料已经打包到网盘。

最后尝试的最终效果如下:

更多图片请查看网盘:

「萌宠图片及关键词」

如果你想了解更多的StableDiffusion的知识,请参阅:

需要的资料都打包在网盘里面,需要的自行下载。

LORA可以让我们轻松画出特定的人物,物品,特殊的笔触和特殊的画风或风格,属于一种特殊训练的子集。

炼出一个自己的模特,让这个模特穿上自己的商品

添加一个衣服的Lora,就可以让人物穿上特定的衣服

通过添加Lora改变照片的画风,这个画风可以自己去训练

专业的解释

通俗的解释

Lora可以复刻人物和物品的特征,固定人物动作,改变照片画风

而且Lora只需要少量的数据就可以训练出来,比训练大模型要简单很多

所以大家可以通过训练自己的Lora,做出定制的图片

但不得不说的是,目前的Lora还不能做到100%相同,尤其是细节方面

但是相信随着之后的技术发展,万物皆可Lora的时代是不远的

炼制Lora的方式有很多种

有用脚本训练的,也有在网站界面上训练的,最近还有很多朋友做出来了训练Lora的整合包

创建Lora模型的方式有许多,包括通过脚本进行训练,通过网页界面操作,甚至有一些专业人士最近提供了Lora训练的一键式整合包。尽管这些方法在表面上看起来有所不同,但其训练逻辑其实都是相同的。

因此,我们可以选择使用整合包。整合包的优点在于,它将炼丹所需的所有工具和步骤集成在一款软件中,为我们提供了一种更为便捷且有效的训练方式。

整合包就是把炼丹所需要的所有工具都整合到一个软件里

炼丹分为以下几步:

1.下载整合包

2.准备工作

3.开始训练

4.测试Lora

5.优化Lora

在炼Lora之前,需要大家先确认一下自己的电脑配置:

1.电脑配置需要N卡,并且6G显存以上

2.A卡和Mac系统,或者电脑配置不太行的小伙伴建议用云平台

我这里用的是B站up主朱尼酱的整合包:

下载好了之后把它解压到D盘或者E盘,不要放在C盘!!

秋叶的整合包我也试过炼Lora,两个对比下来,我觉得朱尼酱的整合包会更适合小白

打开解压之后的文件夹,在“cfurnace_ui”文件夹里面找到“赛博丹炉”的应用程序

可以创建一个桌面快捷方式,这样就不用每次都要打开文件

看到这个页面就安装好了,点击“开启炼丹炉”就可以开始炼Lora啦!

跟画图一样,炼Lora之前也要先选一个大模型,确定Lora的画风

这里训练的萌宠,我选择的是“cheeseDaddys_35”大模型

真人模型=》选用“chilloutmix”的大模型

二次元=》选用“anything”的大模型

如果你的StableDiffusion里面没有模型,那就要先去下载模型噢!

网盘里面已经给大家放了这两个大模型

再往下就可以选择一个我们要训练的Lora的类型

选择之后就会帮我们选择默认的参数

训练真人Lora就选“人物”

训练二次元就选“二次元”

如果想炼绘画的风格可以选画风

除此之外还可以自定义去炼平面设计图或者建筑之类的

我这里选择的是产品

以上准备工作及参数设置好了后,就可以开始上传自己的素材开始训练了。

这些素材就是我们要喂给AI学习的素材

素材的质量非常重要!!会直接影响最后出来的Lora的质量

我们的素材需要满足几个点:

1.上传20~30张照片

2.素材要高清!!!

3.多角度照片

这里我就以炼萌宠Lora为例子,上传萌宠的照片

点击“删除全部”把默认的素材删掉

然后点击“上传素材”,上传自己的照片

一般情况下,下面的参数默认就可以了

需要调整参数的话,最好是需要了解参数的含义,如果乱调的话,可能会训练失败。

不要选择太高的分辨率,容易爆显存

另外,如果训练真人Lora,可以勾选最右边的“脸部加强训练”

勾选了之后就会再多裁剪出来一组只有脸的照片,这样AI能学到更多的脸部细节

看到这个页面就是模型正在训练中

到这一步只要耐心等待就可以了,没什么需要操作的

我们可以看一下下面的参数是什么意思

“Steps”就是训练步数

每训练50步右下角就会出现一张图片

那样就可以实时看到Lora的样子

这个白头发和红裙子是后台加上去的关键词

可以测试Lora的泛化性

泛化性就是看这个Lora能不能自由的去更换照片里的东西,比如发型、发色、服装之类的

Loss可以用来参考模型的好坏

一个好的模型Loss值在0.07~0.09之间

注意:具体好不好还是要在StableDiffusion实际测试才知道

等训练完了之后,点击“模型”

就可以看到生成出来模型

按照默认参数训练会出来20个模型,但不是说最后一个模型就是最好的

有可能炼到第十六第是十七个模型就已经够了,再往后的模型就已经训练过度了

所以这些模型还要实际在SD测试一下,才知道哪个是最好的

模型生成出来之后就可以到SD里面生成图片

在SD里面可以生成这么一张大图,可以直接看到所有模型在不同权重下出来的效果

比较一下哪个模型更好,就只保留那个模型就可以了

接下来我们就看看怎么生成这张大图

首先把新生成的10个模型复制到SD的models文件夹,放到Lora文件夹里面

注意:最好新建一个文件夹,比如cuteDog

然后把没有序号编码的那个Lora重命名

没有序号编码的Lora就是最后生成出来的一个模型,这里只是为了方便进行测试,统一一下所有模型的名称

保存好模型之后就可以打开SD进行测试了

首先先选一个大模型

你用哪一个大模型来训练lora就选哪个大模型

然后输入正面关键词和负面关键词

正面关键词可以输入一些质量词,比如最高质量、高清画质、大师杰作等等

负面关键词直接复制我们以前用过的就可以

接下来就是选用我们刚刚炼好的Lora

随便选一个都可以

重点来了:把000017换成NUM,1换成STRENGTH

例如:

迭代步数,采样方法这些参数大家可以按照自己的习惯去修改

然后滑到最下面找到“脚本”

在脚本里面选择“X/Y/Z图表”

X轴、Y轴类型都选择“提示词搜索/替换”

X轴的值输入:NUM,000001,000002,000003,000004,000005,000006,000007,000008,000009,000010

这里的序号对应的就是我们10个Lora的编号

Y轴值输入:STRENGTH,0.1,0.2,0.3,0.4,0.5,0.6,0.7,0.8,0.9,1

这里的序号代表的是Lora的权重

全部参数设置好了之后就可以点击“生成”

生成出来就是这么一张大图,可以看到这几个Lora模型在不同强度下的表现

实际上,炼丹是一件比较玄学的事

有的人可能一次性就能炼出自己满意的Lora

但有的人可能要炼好几次才出来一个好的Lora

这时候我们可以通过调整训练的参数再重新炼一个

前提是确保我们的喂给AI的素材是高质量的!

不然不管怎么修改参数,出来的Lora都是不合格的

这里我们就把炼Lora会遇到的问题分成两种情况

1.Lora出来的照片不像本人:AI没学好

2.Lora过拟合,甚至出来的照片崩了:AI学过头了

过拟合就是不管输入什么关键词,出来的照片都是你喂给AI的照片

没办法自由控制人物的服装、发型、发色等

点击“参数调优”我们就可以自行设置参数

如果生成的照片不像本人,那就可以适当增加Repeat(学习步数)值

如果照片过拟合了,那就减少Repeat值

其他参数都可以不用调,因为默认的参数就差不多是最优值了

THE END
1.为画风甚至可以将自己画的手绘或者照片补充细节,并且转换画风使用图生图功能,不仅可以将AI的图片转为画风甚至可以将自己画的手绘或者照片补充细节,并且转换画风, 视频播放量 0、弹幕量 0、点赞数 0、投硬币枚数 0、收藏人数 0、转发人数 0, 视频作者 缓缓の飘落の丝念, 作者简介 ,相关视频:心海酱不可以涩涩哦(审核大大给过了吧呜https://m.bilibili.com/video/BV1aM4y11749/
2.AI图片风格转绘动漫转真人将卡通画风转换为真实画风7. 生成的图片有问题可以进行局部重绘,把细节生成不好的地方修复 8.看下修复后的图,手指细节好多了 动漫转真人可以针对一些cosplay爱好者,作为cosplay造型的参考,更好的还原动漫角色的特征。 如果拍摄动漫改编的真人电影,可以先用AI技术将动漫角色转换为真人形象,作为电影角色设计的参考。 https://blog.csdn.net/A2421417624/article/details/140373835
3.AILabTools人像动漫化使用先进的AI技术,将照片、全图或人脸转换为卡通或漫画风格,支持世界名画、日本漫画、中国工笔画、3D特效等多种风格。在线人像动漫化、AI照片变动漫,适合各大社交平台头像制作。轻松实现照片变动漫、图片转卡通、照片变漫画等效果,提供丰富的图片美化和图像编辑功能,满https://www.ailabtools.com/zh-cn/face-anime-converter
4.有哪些好玩的AI图片工具?好玩的实在是太多了。今天我就分享4款非常好玩且实用的AI图片工具给大家,每一款都非常有趣,有需要的https://www.zhihu.com/question/336270329/answer/2650950287
5.AI照片生成绘画:让你的照片变成艺术品什么是AI照片生成绘画技术? 这项技术源于最新2024年,由Google Brain研发团队提出,基于卷积神经网络(CNN)的自动画风转换技术。它通过深层CNN网络对图像进行操作,将原始图像变成具有艺术风格的图像。 在使用这项技术时,我们需要使用《触站AI》这款基于人工智能技术的图片处理工具,可转化照片为水彩画、油画等多种艺术风格https://www.hxsd.com/information/27455/
6.AI一键智能搞定图片/配音/视频!开源免费功能强大的AI智能桌面工具图像风格化,可以将照片转换为动漫风格、梵高风格、毕加索风格等等。 人像抠图 AI 一键抠图,可生成透明图、绿幕、红幕、蓝幕等背景图片,头发丝处理良好,适合任意人物抠图需求。 人像修复 人像修复,可以将人像修复为清晰的图片,提升清晰度。 视频抠图 视频抠图,利用 RVM 等算法,可实现无绿幕视频抠图,适合各种自媒体视https://www.zuoshipin.com/941.html
7.10款最佳照片转漫画手绘软件App推荐(免费/付费)ToonApp提供了惊人的AI滤镜,可将图片转换为卡通。你甚至可以对照片进行卡通化处理,以使其成为动漫人物。ToonApp拥有Dream AI、2D卡通、三维漫画、全身漫画、动物香椿、滑稽漫画等效果滤镜,可以将任何照片变成时尚的卡通风格或者动画人物,供大家任意选择。ToonApp软件使用起来也非常简单,只需从相册中选择一张最喜欢的图片https://www.extrabux.cn/chs/guide/7916669
8.《英雄联盟:双城之战》三渲二风AI就搞定了?AI“入侵”CG的日子如果单看图片不过瘾,那么视频咱们也有~ 同样转换场景也是不在话下! 有一说一,这个是真的厉害!Alex免费提供了开源代码,如果感兴趣小伙伴可以自己去尝试一下,还蛮有意思的哈! 地址:https://github.com/Sxela/ArcaneGAN 既然咱们提到了真人转换“双城之战”的角色,Ai能带来的神奇可不止这一种,对于咱们CG行业而言https://www.d-arts.cn/article/article_info/key/MTIwMTM1MTQ0NTmDuZesr5zGcw.html
9.《英雄联盟:双城之战》三渲二风AI就搞定了?AI“入侵”CG的日子AI“入侵”CG的日子··· 编辑:木木 虽然都2022年了,但是《双城之战》热度一直持续不减,甚至它一度被称为“最具有艺术性动画”,它除了剧情以外,或许赢就赢在完美诠释出了二维动画的魅力。 像现在普遍大众习惯于看写实、逼真的作品,而《双城之战》别具一格,显得十分出彩,再加上整体的制作画风精良,更能给观众https://www.shangyexinzhi.com/article/4608930.html
10.AI绘画AI绘画生成器AI画图工具AI绘画生成器是一款在线使用的AI自动生成绘画软件,借助AI画图工具,只需输入文字描述即可进行智能AI作画,AI绘画生成器内置多种图像风格,满足多种场景下的AI绘画需求..https://www.gaituya.com/aiimg
11.图片在线生成卡通图的16款AI工具推荐线条流畅而富有韵律,将面部特征勾勒得淋漓尽致。你还可以调整线条的粗细和颜色,生成不同风格的线条画。如果厌倦了单调的黑白,网站还提供波点、彩虹等多种艺术画风效果,将照片转换成充满个性的艺术创作。操作简便快捷,支持下载和分享图片。 AI Gahaku 想用艺术风格为自己的照片加持吗?那就来试试 ai-art.tokyo 这个https://js.design/special/article/generate-cartoon-pictures-online.html
12.一键AI绘画多种AI模型,画风随心切换,畅享创作乐趣 从绘画到写诗,突破灵感界限 Win下载 MAC下载 扫码下载APP 软件介绍 一键AI绘画是一款基于人工智能系统的ai绘画软件,用户可以输入文字描述,让ai绘画生成风格各异、惊艳有趣的图片或画作。软件充分利用AI技术,支持智能写诗、智能抠图、老照片修复等多种实用功能。 软件特色 AI生成https://www.xunjiepdf.com/aihuihuapc
13.触手AI触手AI,触手AI集成了市面上主流绘图软件的完整功能,包括文生图、图生图、ControlNet控图、姿势生图、高清修复、智能修图、模型训练等一系列实用功能。触手AI无需科学上网。https://www.yjpoo.com/site/1051.html
14.分享15个全球顶尖的AIGC图片生成平台腾讯云开发者社区人工智能正在改变许多行业的格局,而其中改变最直观和影响最大的就是AIGC领域的图像创作。 发展至今已经有很多AI图像生成平台,他们的共同特点就是使用人工智能将文本转换为图像,这是一次革命性的突破,也就是说通过这些AI工具可以在几秒钟内将文字转换成更具可视化表示的图片。 https://cloud.tencent.com/developer/article/2203794
15.触手AIAI图片生成工具产品支持文字生成AI图;支持图生图;可controlnet条件生图,上传特征参考图和特征,依照特征进行创作;支持inpainting的神奇涂抹,可局部修改,支持自训练AI绘画模型;支持在基础风格模型上,使用叠加AI绘图模型;支持在模型广场收藏各类画风、IP、场景、人物、设计类模型。http://acgnai.art/
16.2023年最新AIGC绘画水平发展只是一个工具,它的后端需要训练模型来进行 AI 图片生成,目前主流三大模型: a) : 一般简称 SD 模型,如我们 demo 里提供的 sd-v1-4,目前最新的是 stable-diffusion-v1-5,偏真人风格; b) : 一般简称 Waifu 或者 WD 模型,偏二次元,是 B 站大家用爱发电实现的; https://new.qq.com/rain/a/20230309A07BTH00
17.AI商品图片生成器AI商品图片生成器浏览人数已经达到 16.7K,如你需要查询该站的相关权重信息,可以点击"5118数据""爱站数据""Chinaz数据"进入;以目前的网站数据参考,建议大家请以爱站数据为准,更多网站价值评估因素如: AI商品图片生成器的访问速度、搜索引擎收录以及索引量、用户体验等;当然要评估一个站的价值,最主要还是需要根据您自https://www.zmt.wiki/sites/20131.html
18.根据文字描述生成的AI图片CogView有趣网址之家只有你想不到的,没有它生成不出来的。。。网站可以根据文字描述在线生成AI图片,浓郁的AI画风图片看起来虽然怪怪的,但基本都符合你的要求! 传送门https://wudao.aminer.cn/CogView/ 方法 中文趣站,只支持中文输入! 网站并非实时生成图片,需要根据队列多少来决定等待时间,不过你可以趁这个时间看看其他人的奇葩描述!https://youquhome.com/10153/
19.AI换图工具有哪些?就这5款应用五、【AI画像】【AI画像】是一款多功能的AI换图工具,其主要特点包括:创意多样的AI效果:该工具内置了多款创意特效,包括画风转换、滤镜效果等,为用户提供丰富的编辑选择。实时预览和调整:【AI画像】支持实时预览和调整效果,用户可以即时查看替换结果,并根据需要进行微调,以达到理想的编辑效果。这五款AI换图工具https://baijiahao.baidu.com/s?id=1778615958296279628&wfr=spider&for=pc
20.图片ai绘画生成器随着科技的不断发展,人工智能已经逐渐渗透到各个领域,其中也包括艺术领域。最近,一款名为“图片AI绘画生成器”的工具引起了广泛关注。这款工具能够根据用户提供的要求,快速生成高质量的绘画作品,为艺术创作带来了全新的可能。 功能特点 支持多种画风:图片AI绘画生成器支持多种画风,包括写实、卡通、二次元等,能够满足不https://tool.a5.cn/article/show/77953.html
21.Ai绘图/有抽奖作为画师如何防止画风被学习LoRA画风训练没有50-60张是练不那个感觉的。 下架的图放到fanbox之类的付费平台。 虽然如果真的有人想恶心你花钱解释下架图片去练, 但是好歹也收到钱了。不过真的在正确使用Ai作为工具的人是不会在画师明确表示不想被ai学习画风后还去练的。 而根本不在乎这些只想找个理由攻击他人的乐子人则不会愿意去花钱买图https://www.acfun.cn/a/ac41007702
22.一秒出片!AI画风竟如此惊奇看完AI的系列作品 这样的画风你喜欢吗 你认为AI能取代人类的工作吗 你怎么看? 欢迎在评论区留言讨论 end 更多阅读推荐 (点击图片获取全文) 策划| 朱亚菲 柏金彤 陈咏华 罗皓月 素材| 朱亚菲 李海燕 郭文军 刘华法 宋敬月 王颖 尹悦 王韡 王静 邱嘉城 高源 柏金彤 刘波 徐清洲 董波 柴润金 王佳麟 李英豪 https://m.thepaper.cn/baijiahao_23121684