革电商的命!谷歌最新AI可在线一键试衣,细节满满,模特姿势随意换!衣服图像

点上方“火星时代教育”再点右上角“...”设为星标★

以下正文内容转自新智元(公众号ID:AI_era)

一键换装,被谷歌给实现了!

这个AI试衣模型TryOnDiffusion,你只要给它一张自己的全身照,和服装模特的照片,就能知道自己穿上这件衣服之后是什么样子了。

主打的就是一个真实。所以,是真人版奇迹暖暖吧?

按说,各种换装的AI早就有不少了,谷歌的这个AI模型究竟有何突破呢?

关键就在于,他们提出了一种基于扩散的框架,把两个Parallel-Unet统一了起来。

在以前,这种模型的关键挑战就在于,如何既保留衣服细节,又能将衣服变形,同时还能适应不同主体的姿势和形状,让人感觉不违和。

以前的方法无法同时做到这两点,要么只能保留衣服细节,但无法处理姿势和形状的变化,要么就是可以换姿势,但服装细节会缺失。

而TryOnDiffusion因为统一了两个UNet,就能够在单个网络中保留衣服细节,并且对衣服进行重要的姿势和身体变化。

可以看到,衣服在人物上的变形极其自然,并且衣服的细节也还原得非常到位。

话不多说,让我们直接看看,谷歌的这个「AI试穿」到底有多厉害!

用AI生成试穿图像

具体来说,VirtualTry-On(VTO)可以向顾客展示衣服在不同体型和尺寸的真实模特身上的效果。

虚拟服装试穿中,有许多微妙但对于用户来说至关重要的细节,比如衣服的垂坠、折叠、紧贴、伸展和起皱的效果。

此前已有的技术,比如geometricwarping(几何变形),可以对服装图像进行剪切和粘贴,然后对其进行变形以适配身体的轮廓。

但这些功能,很难让衣服妥帖地适应身体,并且会存在一些视觉缺陷,比如错位的褶皱,会让衣服看起来畸形和不自然。

因此,谷歌的研究者致力于从头开始生成服装的每个像素,以生成高质量、逼真的图像。

他们采用的技术是一种全新的基于Diffusion的AI模型,TryOnDiffusion。

像Imagen这样的文本到图像模型,就是使用的来自大语言模型LLM的扩散加文本,可以仅根据输入的文本,就能生成逼真的图像。

在TryOnDiffusion中,不需要使用文字,而是使用一组成对的图片:一张图片是衣服(或者穿着衣服的模特),一张图片是模特。

每张图片都会被发送到自己的神经网络(U-net),并通过被称为「交叉注意力」的过程来相互共享信息,输出新的穿着这件衣服的模特的逼真图像。

这种基于图像的Diffusion和交叉注意力的结合技术,构成了这个AI模型的核心。

VOT功能让用户可以在符合自己身材的模特身上渲染展示上衣效果。

海量高质量数据训练

谷歌为了使VTO功能尽可能提供真实的效果并且真的能帮助用户挑选衣服,对这个AI模型进行了大量的训练。

但是,谷歌没有使用大语言模型来训练它,而是利用了谷歌的购物图。

谷歌使用了多对图像训练模型,每对图像由两种不同姿势的穿着衣服的模特图组成。

比如,一个穿着衬衫的人侧身站立的图像和另一个向前站立的图像。

谷歌专门的扩散模型将图像输入到他们自己的神经网络(U-net)来生成输出:穿着这件衣服的模特的逼真图像。

在这对训练图像中,模型学习将侧身姿势的衬衫形状与面朝前姿势的图相匹配。

反过来也一样,直到它可以从各个角度生成该人穿着衬衫的逼真图像。

为了追求更好的效果,谷歌使用数百万不同服装和人物的随机图像多次重复了这个过程。

总之,TryOnDiffusion既保留了衣服的细节效果,也适配了新模特的身材和姿势,谷歌的技术做到了二者兼得,效果相当逼真。

技术细节

在一张展示一个模特的身体的图片,另一张展示另一个穿着某件衣服的模特的图片的条件下,TryOnDiffusion的目标是生成一个展示这件服装在这个人身上可能会呈现的具体的视觉效果。

解决这个问题最关键的难点在于,保持服装细节逼真的同时,将服装进行适当的变形以适应不同模特之间的姿势和体型的变化。

先前的方法要么着重于保留服装细节,但无法有效处理姿势和形状的变化。

要么允许根据期望的体型和姿势呈现出了试穿效果,但缺乏服装的细节。

谷歌提出了一种基于Diffusion的架构,将两个UNet(称为Parallel-UNet)合二为一,谷歌能够在单个网络中保留服装细节并对服装的试穿效果进行明显的姿势和身体变化。

Parallel-UNet的关键思想包括:

1)通过交叉注意机制隐式地为服装制作褶皱;

2)服装的褶皱和人物的融合作为一个统一的过程,而不是两个独立任务的序列。

实验结果表明,TryOnDiffusion在定性和定量上均达到了最先进的性能水平。

具体的实现方式如下图所示。

在预处理步骤中,目标人物从人物图像中被分割出来,创建「无服装RGB」图像,目标服装从服装图像中分割出来,并为人物和服装图像计算姿势。

这些信息输入被带入128×128Parallel-UNet(关键步骤)以创建128x128的试穿图像,该图像与试穿条件的输入一起作为输入进一步发送到256×256Parallel-UNet中。

再把256×256Parallel-UNet的输出内容被发送到标准超分辨率扩散(superresolutiondiffusion)来创建1024×1024的图像。

而在上面整个流程中最为重要的128×128Parallel-UNet的构架和处理过程,如下图所示。

将与服装无关的RGB和噪声图像输入顶部的person-UNet中。

由于两个输入内容都是按像素对齐的,在UNet处理开始时直接沿着通道维度(channeldemension)将两个图像连接起来。

由于两个输入都是按像素对齐的,我们在UNet处理开始时直接沿着通道维度将它们连接起来。

将分割后的服装图像输入位于底部的garment-UNet。

服装的特征通过交叉注意(crossattention)融合到目标图像之中。

为了保存模型参数,谷歌研究人员在32×32上采样(Upsampling)之后提前停止了garment-UNet,此时person-UNet中的最终交叉注意力模块(finalcrossattentionmodule)已经完成。

人和衣服的姿势首先被送入线性层以分别计算姿势嵌入。

然后通过注意力机制将姿势嵌入融合到person-UNet中。

此外,它们被用在使用FiLM在所有规模上调制两个UNet的特征。

与主流技术的对比

用户调查研究:对于每组输入的图片,15个普通用户选从4个备选技术中选择一个他们认为最好的,或者选择「无法区分」。TryOnDiffusion的表现明显超过了其他技术。

下图从左到右依次是「输入,TryOnGAN,SDAFN,HR-VITON,谷歌的方法」。

局限性

不过TryOnDiffusion存在一些局限性。

首先,在预处理过程中,如果分割图和姿势估计存在错误,谷歌的方法可能会出现服装泄漏的瑕疵。

幸运的是,近年来这方面的准确性已经大大提高,这种情况并不经常发生。

其次,不包括服装的RGB来显示身体的效果并不理想,因为有时它可能只能保留身体的一部分。

例如纹身在这种情况下会不可见,某些的肌肉结构也会不可见。

第三,我们的训练和测试数据集通常都会具有干净统一的背景,因此无法确定该方法在更复杂的背景下的表现如何。

最后,本研究侧重于上半身的服装,谷歌还没有对全身试穿效果进行实验,未来会进一步对全身效果进行研究。

参考资料:

为什么要先星标?

因为不星标的话,

这样的作品集,看了真舒服坏了!

面部动画神器MetaHumanAnimator现已开放下载,是免费的!

AI文生视频横空出世,独立电影人时代开启:一人一天一部小电影!

第1个月的课学完,新原画班的作业水平都到这种程度啦!

被入职天美工作室的前学长推荐,去腾讯总部上班的特效学长,现在发展咋样啦?

还有23天毕业、提前被多家企业抢订的学员,他们报的是哪个班?

THE END
1.AI试穿AI试穿:时尚黑科技,试衣新体验 AI试穿是一款创新的时尚应用,让你轻松体验虚拟试衣的乐趣。只需上传一张你的全身照片和一张衣服的照片,我们的智能算法就能将衣服完美地试穿在你的身上,让你随时随地预览各种穿搭效果。 主要功能:智能试穿:上传全身照片和衣服照片,我https://apps.apple.com/ru/app/ai%E8%AF%95%E7%A9%BF-%E8%AF%95%E7%A9%BF%E6%89%80%E6%9C%89%E8%A1%A3%E6%9C%8D-%E8%99%9A%E6%8B%9F%E7%A9%BF%E6%90%AD%E5%8A%A9%E6%89%8B-%E7%BA%BF%E4%B8%8A%E8%AF%95%E8%A1%A3%E9%97%B4/id6503932455?see-all=customers-also-bought-apps
2.手机试衣软件哪个好?虚拟试衣软件下载虚拟试衣app都市蚂蚁app是一款提供虚拟试衣服务的手机软件。为消费者提供了海量正品服饰,可以快速选择,免费在线试衣。衣服合不合适,试穿后就知道啦!快来绿色资源网下载体验吧。软件介绍都市蚂蚁-在线试衣!全球领先真人在线 点击下载 蜜嗨(轻奢定制试穿) 97.71M / 2020-01-30 / v1.0.3 安卓版 蜜嗨安卓最新版是一款非常好用http://www.downcc.com/k/xunishiyiapp/
3.弥知虚拟试穿弥知AR虚拟试穿为您带来极致电商购物体验!从头到脚实时试穿,商品真实细节完美呈现。先试后买,解决电商购物痛点。微信小程序/WebAR沉浸式购物体验,打造全新业务增长点,大幅提升电商购物信心,与Kivisense一同智慧购物,现在就体验吧!https://tryon.kivisense.com/blog/zh/homepage-cn/
4.KolorsVirtualTryOn:免费在线AI服装试穿体验Kolors Virtual Try On 在真实环境中AI 服装可视化 体验Kolors Virtual Try On,在真实环境中使用先进的 AI 工具实现虚拟试穿。 开始 什么是 Kolors Virtual Try On? 虚拟试衣间:在购买前进行虚拟试穿。 AI 驱动的建议:获得个性化推荐。 无缝集成:兼容您喜爱的各个平台。为什么https://virtual-try-on.org/zh
5.虚拟试衣间App官方版下载安装颠覆虚拟:真实的你,真实的试穿,真实的搭配。 每日推荐:每日N套专业搭配推荐,发现不同风格的你。 虚拟试衣间更新日志 1.修改用户提交bug 2.添加新功能 华军小编推荐: 虚拟试衣间作为一款应用广泛,功能强大的免费系统工具,该最新版的功能得到众多网友的一致好评,强烈推荐大家下载使用,另外还有QuickShortcutMaker、海洛http://www.onlinedown.net/soft/10084987.htm
6.国内8大AI模特试穿换装工具推荐(揭秘跨境电商)书评ai 试穿 ai试穿手表 ai拍照试穿 ai在线试穿 线下ai试穿 AI试穿1474290Z空间 ai皮套试穿 ai试穿技术 ai试穿专利 西服试穿ai 小狗ai试穿 毒物ai试穿 试穿服装ai 毒ai试穿 ai 模特试穿 ai试穿直播 帽子ai试穿 ai试穿婚纱 波司登ai试穿 AI虚拟试穿 https://book.douban.com/review/16153279/
7.电商AI模特试穿工具AI虚拟模特试穿生成器触站AI模特试穿工具轻松实现换衣、换模特、换脸、换背景、换头发、换姿势,打造完美电商视觉效果,让虚拟模特试穿、换装变得触手可及,电商企业comfyui、LORA模型训练、API网站开发接口个性化定制,开启电商AIGC赋能之旅。https://www.czhanai.com/ec/rentai
8.[AIGC服务]TryOn虚拟试衣只需照片即可在线换衣?[AIGC服务]TryOn虚拟试衣 | 只需照片即可在线换衣 本文介绍基于Diffusion虚拟试衣应用,即用户只需要上传一张单人照片和一张衣服照片,就能实现人穿衣服效果图像。 虚拟试穿技术允许用户在线上购物时预览服装在自己身上的效果,从而提高购物体验并减少退货率。 https://cloud.tencent.com/developer/article/2396588
9.分享两个虚拟试衣工具,一个在线,一个离线,还有ComfyUI插件我之前分享过一个叫IDM-VTON的虚拟试衣软件,效果挺不错,后来又出了一个叫Kolors的,看起来也是不错。最近使用了一下IDM-VTON的升级版,所以就放在一起发一下。 下面就先介绍一下Kolors,然后给大家一个IDM-VTON的升级包,还有一个ComfyUI的插件,全套了。 https://blog.csdn.net/u010291330/article/details/142444717
10.羽迹科技官网3D虚拟人物升级 THE SOLUTIONS首页 新闻中心 医美软件 产品接入 公司简介 美业方案 整容捏脸 在线试妆 试穿试戴 眼镜试戴 服装试穿 游戏及其他 游戏案例 点云3D模型优化 产品接入、技术合作,请联系我们,羽迹科技竭诚为您服务。 联系羽迹: CONTACT US 联系人:郭先生 电话: 13510727606 联系人:明先生 电话https://www.yujishishi.com/fitting.html
11.虚拟一键试衣工具,逼真地展示你的服装穿戴效果今天我要给你们安利一个超级酷炫的网站——Kolors虚拟试穿! 它是一个免费的在线AI时尚试衣工具,比如说,你想买一件裙子,想看看自己穿上裙子好不好看,这个时候你就可以用这个Kolors。 你可以在线试穿各种服装,而不用真的穿上它们。 这个网站利用先进的AI技术,让你在几秒钟内就能体验到无限的服装搭配。 https://www.mantaoshiguang.com/091701.html
12.KolorsVirtualTryOn网购用户:对于喜欢网购服装的用户,可以通过应用在家中轻松试穿不同款式的服装,避免了线下试衣间的繁琐。时尚达人:时尚达人可以利用应用来尝试不同的搭配,寻找最适合自己的时尚风格。品牌商家:服装品牌商家可以利用应用为用户提供虚拟试穿服务,提升用户购物体验,增加销售额。 https://aijuh.com/sites/kolors-virtual-try-on.html