鲁班,视觉生成引擎的应用

丰富的线上&线下活动,深入探索云世界

做任务,得社区积分和周边

最真实的开发者用云体验

让每位学生受益于普惠算力

让创作激发创新

资深技术专家手把手带教

遇见技术追梦人

技术交流,直击现场

海量开发者使用工具、手册,免费下载

极速、全面、稳定、安全的开源镜像

开发手册、白皮书、案例集等实战精华

为开发者定制的Chrome浏览器插件

摘要:本文介绍了视觉生成的现状,智能设计的框架和流程、应用案例及未来前景。通过本文的学习,可以对视觉生成有基础性的认识,了解行业的现状以及未来的发展趋势。

演讲嘉宾简介:谢宣松(星瞳),谢宣松(星瞳),阿里巴巴机器智能技术实验室资深算法专家,专注于视觉生成、智能医疗、图像搜索、信息抽取等方面技术研发和落地;阿里巴巴智能设计(鲁班)的创始成员和技术负责人,医疗影像智能诊断方向负责人,图像搜索拍立淘的早期创始成员。

一、定义、目标和愿景

目标:可控视觉内容设计和生成,让AI做设计,使数字内容制造变得高质、高效、普惠、低成本;

愿景:所想,即所见。

视觉生成主要分成三个方向。第一,针对非结构化的图像,如图像。第二,针对结构化的图形。第三,针对视频。

二、设计行业现状

从技术上说,近几年,大家常提到供给侧改革,以前的供给侧基本都是通过人或工具来形成图像、视频等,但这样有很大的局限性,包括:

而在消费端,对个性化、精准度、实时性有很高的需求。因此,在供给和需求之间还存在差距。在AI行业中,IN的多:识别、理解、搜索。OUT的少:生成、融合还限于学术圈,系统性落地工程、可商用的产品没有。

因此,“Thebestwaytopredictistocreate.”。

三、使用场景

视觉生成引擎的使用场景大致可抽象成下图。以显式输入而言,用户可以输入标签需要的风格、色彩、构图等,或者输入一个例子,或者进行一些交互的输入。除显式输入之外还可以有隐式输入,比如人群信息、场景信息、上下文信息等。总的来说,输入可以是千变万化的,但通过规范化之后就会减少变化。

对视觉生成引擎来说,它要求输入是规范化的。但在输入前,可以加入各种交互方式,如自然语言处理,语音识别等,将其转化成规范化输入。最后输出结构化信息或可视成图。

四、技术框架和生产流程

其技术框架如下图左侧。首先对视觉内容进行结构化理解,如分类、量化、特征化。其次通过一系列学习、决策变成满足用户需求的结构化信息即数据,最后将数据转化成可视的图像或视频。这一框架依赖于大量的现有数据。其核心是一个设计内核。同时,引入效用循环,利用使用后的反馈来不断迭代和改进系统。

其生产流程分成六个步骤,如下图右侧所示。首先用户提出需求,将需求特征化转变成系统可以理解的结构化信息。其次将信息进行规划得到草图。有了粗略的草图后再将其转变成相对更精确的图,然后调整细节,最后通过数据可视化形成最终的图。

五、关键算法

下面介绍一些关键算法。我们希望基于下图最左的耐克鞋生成最右的图。先通过规划器得到草图,再通过强化学习获得相对细致的结果,再通过对抗学习及渲染算法得到图片,再通过评估器进行评估,最后形成业务闭环,其中会包含联合特征及多维度检索算法等。

基本上,处理的第一步是将图片中的信息结构化,这也是与现有的识别理解技术结合最紧密的地方。其中的难点和重点包括,对图像中多目标的识别、遮挡和互包含情况如何得到分割的信息等。

有了结构化信息之后,需要对信息进行量化。可以量化成特征或量化图。量化过程中会包含很多信息,比如主题风格、布局配色、元素种类、量化空间等。有了这些信息后可以在主题、种类、风格、视觉特征大小位置上,量化成各种码,用相对有限的特征来表达无限的图。

下一步是通过用户的输入,得到一个相对粗略的结果即草图。目前主要使用的是深度序列学习。从图像角度,首先选定一个点的像素颜色再选择位置,再迭代进行操作,最后形成一张图。规划器模拟的就是这个过程。本质上预测过程是一棵树,当然也可以拆成一条条路径。为了简化,可以分成几步进行,比如空间序列,视觉序列。最后形成量化特征模型,主要应用的是LSTM模型。它把设计的过程转化成基于递归、循环的过程。

得到草图后,利用行动器将草图细化。如果将图中的每个元素看作一个Agent,那么它将有若干个可选的行动空间。

假设一张图中有20个元素,每个元素在视觉上有多种可选的行动空间,由其组合成的可选行动空间非常庞大。我们有很多trick可以解决这一问题,比如在空间上,只允许在有限范围内进行变动,且行动方向有序,即状态有序,行动有限。

下一步是如何衡量结果的好坏。图像的评估相对比较主观,主要可以从美学和效果两方面来评估。美学角度可以包括是否对齐、色系搭配是否合理、有无遮挡这些较低级别的判断标准,以及较高级的,比如风格是否一致,是否切合主题。从效果上,产品投放后是否会在点击率等方面实现提升。最后将多个指标形成对应权重并形成多个DeepLR联合模型。

但在衡量结果之前,需要形成像素级别可见的图。这里有以下几种构造器分类,包临摹、迁移、创造、搭配与生成。

前面介绍了,如何通过用户的需求形成可见的图。后续还需要进行投放和反馈并进行优化,形成效用外循环。这样才能使得系统效用不断得到提升。

六、业务进展

下图是该系统在阿里巴巴内的业务进展。

下面是一些实际的例子。

在这个系统中也加入了大量的人的信息,知识图谱。设计师在进行设计时都会存在一些共性的东西,包括在色彩、复杂度、风格、结构上的应用,这与自然语言处理有些相似,但自然语言处理方面的知识图谱已经非常成熟。

在影响力方面,鲁班作为业界首创的AI设计系统,成为集团双十一的一个AI协同典型案例,获得了大量的报道。在其中,运用了对抗学习,该技术入选了MIT018全球十大突破性技术。

七、案例展示

下面是各种风格和质感的效果图展示。

从多样性看,生成的图片可以是多主体、多主体、多配色和类型自适应的。

同时,也可以生成多种尺寸的图片。

八、鹿班

鲁班这款产品在集团内得到了很好地应用效果,并通过阿里云服务一些外部商家,后期鲁班可能会改名为鹿班。

九、前景展望

上面所说的基本都是平面设计层面的。但在视频和图形上是另一片蓝海。如果说人工做一张图片的成本比较高,而制作视频的成本则远高于图片。

下图是目前的行业市场空间展示。

下图是网球赛中将阿里巴巴的品牌logo无缝投影到赛场中。

为了强调视频中的一部分,可以生成整体静止局部运动的可循环视频。

在游戏领域中,现在的游戏场景需要大量的美工、设计师等。如果希望生成的结果能满足多样性,那么纯靠人工进行需要大量的成本,并且由于游戏的生命周期通常较短,因此批量高效的场景制作是一个很有前景的应用。

通过视觉生成引擎,我们希望能基于用户的所想,使得一切皆可生成。长远的目标就是所想,即所见。

THE END
1.阿里咔咔logo设计生成器阿里咔咔logo免费设计在线生成免费制作你的阿里咔咔logo设计 1.选择 只需输入品牌名称,让我们的AI设计引擎自动生成无限logo创意供您挑选。 2.编辑 找到喜欢的logo创意后轻松在线编辑logo布局,字体和logo图标。我们的智能配色功能还能为您搭配不同的logo配色直到发现您的完美logo设计。 3.下载 就像您的私人专业设计师,我们的logo套餐包含专业矢量loghttp://logosc.cn/biaozhi/s%E9%98%BF%E9%87%8C%E5%92%94%E5%92%94
2.不能错过的国内AI工具,让工作变得轻松又有趣简单好用的在线生图工具、开放的模型分享平台。 标小智Logo生成: (https://www.logosc.cn/ 基于可靠的 AI 算法和自研的智能设计模型,产出海量优质的中英文Logo设计创意,帮你快速搞定品牌logo方案。 佐糖: https://picwish.cn/ 提供丰富的图像处理工具,适合需要进行图片编辑和创意工作的场合。 https://m.douban.com/note/865014309/
3.免费logo设计在线制作公司logo在线设计一键生成器万动力,为企业,公司,个人,店铺,品牌VI,网站提供商标自动在线logo生成,文字图标图片设计,标志艺术字体设计,字母头像制作,姓名字logo设计,创意loog制作,英文logo,无水印透明logo,可自己下载源文件.https://www.wandongli.com/
4.听说C站还有人缺图片素材?一篇跟UI设计师要来的——图片网址整理混合线条生成器:Parallel dimension:https:///funxer/pen/Zvjebx Vectary 在线 3D 建模工具:https://www./ Codepen 巨量炸裂视觉生成器:https:/// 色彩对比度检查器https:///resources/contrastchecker/ 高保真交互原型设计工具http://www./discover http://www.360doc.com/content/21/1201/13/77937936_1006683531.shtml
5.速卖通(AliExpresss)LOGOLOGO图库标志说明:速卖通是阿里巴巴旗下唯一面向全球市场打造的在线交易平台,被广大卖家称为国际版“淘宝”。2015年4月,上线五周年之际,作为阿里集团全球卖核心业务,速卖通启用全新logo,全球卖2015年将全面升级,从“购物车”全面升级为“smart shopping,better living”,为https://logo.nuanque.com/112399.html
6.iconfont图标 29,534,790图标量 AI十一 Smallerblack 水果月笙kk 原创设计 海量素材 高效协作 图标自定义下载 支持AI/SVG/PNG/代码格式下载 支持按路径在线编辑icon颜色 项目协同高效合作 创建项目后上传icon,成员下载使用图标 前端同学可将图标添加至代码 设计师交流分享 https://www.iconfont.cn/
7.盘点2023超全副业赚钱工具库!兼职网赚必备!涵盖28大类3000+款(必http://naotu.baidu.com/(在线) 7、MINDPINTEAM: http://mindmap.4ye.me/(在线) 8、Mindomo: https://www.mindomo.com/zh/(在线需注册) 9、ProcessOn: https://www.processon.com/(需注册) 15.LOGO设计 国内 1、LOGO 圈:http://www.logoquan.com/ https://www.shangyexinzhi.com/article/9242448.html
8.阿里巴巴国际站Connect with a variety of suppliers with third-party-verified credentials and capabilities. Look for the "Verified" logo to begin sourcing with experienced suppliers your business could rely on. Watch video Learn more Protect your purchase with https://www.alibaba.com/
9.BannerMaker:阿里妈妈旗下广告牌在线生成器倡萌的自留地Banner Maker:阿里妈妈旗下广告牌在线生成器 bannerMaker已经运行了近8年时间,由于没有跟上时代步伐,于【2016年5月19号】做下线处理,感谢大家一路的支持。 非常感谢!!! Banner Maker是阿里妈妈旗下的服务, 创新于 07年年初, 聚集了上千名专业设计师,每天都有设计师为你精心为你打造精美的的作品。而且有大量的https://www.cmhello.com/14.html
10.疯狂的美工一站式电商设计师店铺代码装修工具交流学习平台疯狂的美工一站式电商设计师店铺代码装修工具交流学习平台是一个内容丰富的淘宝天猫/阿里1688/京东/阿里国际站美工设计师店铺代码装修工具、设计工具及教程资源发布网站,本站同时为广大设计师提供了灵感分享、学习交流的平台。https://www.fkdmg.com/
11.轮播图片下载免费在线店铺装修代码生成工具淘宝天猫全屏轮播代码免费在线生成自定义全屏 阿里巴巴旺铺的自定义内容,全屏的代码进去后为什么不是全屏呢 阿里巴巴自定义店招+自定义导航1688旺铺国际站旺铺阿里巴巴国际站网站外贸 阿里店铺装修 自定义如何添加图片 阿里巴巴旺铺装修自定义模块代码问题 阿里巴巴手机店铺怎么装修 https://bannerdesign.cn/
12.阿里Logo设计火了:一键生成100个Logo10秒搞定PPT阿里云表示,通过该智能设计平台,logo、VI、海报、PPT、名片等常用物料,只需十秒即可搞定,价格实惠,简直千万中小企业的福音https://tech.huanqiu.com/article/3xBnDMBAkUl
13.阿里妈妈创意中心基于阿里妈妈营销平台,提供从图文到视频再到落地页的素材级智能化创意支持,是您营销创意数字资产累积和升值的阵地,最大化提升营销的效率和效果。https://chuangyi.taobao.com/
14.难道没有花瓣网,设计师就不干活了?这几个常用网站拯救你六、原型设计类 1、Placeit http://placeit.net/ 属于模板网站,放上图片就可以使用了,很多模板的交互做的都是很棒的,可以仔细研究一下 七、其它常用神器网站 1、低多边形生成器 http://matthew.wagerfield.com/flat-surface-shader/ 在线的背景图片生成工具,这款工具提供低多边形背景图片生成,大家可以选择不同的https://www.jianshu.com/p/d02845f8da70
15.阿里腾讯等8家中国互联网大厂的50款大模型及应用,能否全面超越通义万相是阿里通义大模型家族中的一款AI绘画大模型,可辅助人类进行图片创作。基于阿里研发的组合式生成模型Composer,通义万相提出了基于扩散模型的「组合式生成」框架,通过对配色、布局、风格等图像设计元素进行拆解和组合,提供了高度可控性和极大自由度的图像生成效果。 http://www.bianews.com/news/details?id=181241
16.FreeLogoMakerCreateaCustomLogoDesignOnlineMake your own logo with Namecheap's Free Logo Maker - a free logo creation tool for personal and business use. Download your custom logo today.http://instantlogosearch.com/
17.AI绘画软件领先的AI绘画免费在线网站,运用国际AI大模型技术,让您轻松成为艺术大师。无论ai生成图片、ai设计海报,还是ai生成漫画、商业logo等艺术大作,AI绘画平台海量素材、风格多样,一键生成,激发无限创意。https://waihh.cn/
18.新媒体运营推广必备工具汇总!(上)青瓜传媒3.阿里研究院 http://www.aliresearch.com/cn/presentation 4.微信指数 5.巨量算数 https://trendinsight.oceanengine.com/report 6.fotor 懒设计 https://www.fotor.com.cn/ 7.稿定设计 https://www.gaoding.com/ Logo设计 1.Logo圈 http://www.logoquan.com/ https://www.opp2.com/240745.html
19.京东(JD.COM)京东JD.COM-专业的综合网上购物商城,为您提供正品低价的购物选择、优质便捷的服务体验。商品来自全球数十万品牌商家,囊括家电、手机、电脑、服装、居家、母婴、美妆、个护、食品、生鲜等丰富品类,满足各种购物需求。http://jd.com/
20.综上清风冥月传(阿里·阿斯加尔·阿萨迪著)无弹窗免费全文阅读巴巴鱼(狮子好燃)最新章节-巴巴鱼全文免费阅读-奇猫趣事网,格林肉童话卖火柴的小男孩二十五章、不堪的家,免费logo在线制作,logo设计,logo在线生成,字体log,毒孔丘无弹窗全文阅读,霍先生撩错了全文免费阅读,林小喜的大学时代奇幻小说-林小喜的大学时代最新章节全,校霸和他的小哭包玄幻小说-校霸和他的小哭包免费阅读http://m.ouzhehua.com/v/video/5089606620jMINZwJp.shtml?id=20241206Cgq1t02.scm
21.标志客logo标志客logo模板可编辑下载标志客logo设计 创客贴拥有海量精美的标志客logo设计模板和标志客logo设计素材,每一个模板都可编辑 文字图片背景皆可修改,简单3步即可完成在线标志客logo设计制作 免费使用 标志客logo图片一键生成 每一张设计模板、图片都可以在线编辑,替换文字就能生成精美设计。 您也可以DIY托拉拽轻松创意设计。下载设计时,会进行https://www.chuangkit.com/polymer/962025.html
22.阿里商标logo图案是怎么设计的?商标Logo设计它不仅是品牌的视觉标识,更是传递品牌理念与文化的关键。设计时需明确品牌定位,选择适合的设计风格,注重简洁明了与原创性,巧妙融合色彩、字体与图形元素。同时,确保设计符合法律法规,避免侵权风险。今天小编就带大家探讨一下阿里商标logo图案设计的由来吧。 https://m.yuzhua.com/consult/2-74-377188.html
23.阿里图标:设计师常用的免费Icon素材站,一次打包送给你在平面设计环节,各式各样的icon和logo图标,向来是我们必不可少的设计素材。https://www.canva.cn/learn/alibbaba-icon/
24.如何做透明底logo?教你手机一键把logo弄成透明如果你聘请了设计师或代理商来设计你的logo,他们将提供具有透明背景的版本(如果他们没有,必须找他们要!)。如果你因为各种原因必须要靠自己来获得一个透明背景logo,一般需要可编辑的 PSD logo文件,以及Photoshop等编辑软件来实现。 如果这些都没有,只有一张带背景的logo图片,并且不会ps怎么办?这个透明背景logo生成器https://www.niaogebiji.com/article-479678-1.html
25.北京网梯科技发展有限公司智绘设计 腾讯推出的智能设计平台,让内容更精彩 阿里云智能logo设计 阿里云推出的智能Logo设计 AIDesign 腾讯推出的免费AI Logo在线设计工具 Looka AI在线设计和生成logo 鹿班 阿里推出的智能设计商品图和海报的平台 羚珑 京东推出的商品图智能设计小工具 墨刀AI 墨刀推出的AI产品原型设计助手 MasterGo AI https://www.whaty.com/cms/v2rgznitem1/index.htm
26.AI图片生成工具合集文字生成图片AI工具有哪些除了头部的Midjourney、Stable Diffusion以及OpenAI的DALL-E 2外,还有很多优秀的图像生成工具,有的针对细分行业做了定向的训练和优化,有的针对细分的使用场景,如海报设计、LOGO设计、图标设计等等https://www.aieva.cn/site/31
27.AI设计导航精选国内外AI设计工具集Canva AI图像生成 在线设计工具Canva推出的AI图像生成工具 国外 DeepAI 在线AI图片生成和编辑 国外 Hotpot.ai AI图片图像处理和生成工具 国外 稿定抠图 稿定设计推出的AI自动消除背景工具 国内 堆友AI反应堆 阿里旗下堆友推出的多风格AI绘画生成器 国内 Freepik AI Image Generator Freepik最新推出的AI图片生成工具 https://www.58pic.com/tools/aiNav
28.耍坝导航网艺术签名在线生成807 艺术签名生成器,免费设计,在线生成 字体单位换算器913 字体单位换算器 智能LOGO设计生成558 免费logo设计生成_公司logo设计在线制作神器 字体logo设计745 字体logo设计,免费logo在线制作,标识设计 二维码生成器725 二维码生成器,QR码生成器 PNG素材网702 免费高清透明PNG素材资源分享网站_PNG图片素材下http://www.sb.gs.cn/