这个主题分为五个部分,先从市场的角度切入,然后分析虚拟数字人的技术生成过程,再对虚拟人的设计和超级IP进行研究,最后分析未来趋势。
什么是虚拟数字人?虚拟数字人指存在于非物理世界中,由计算机图形学、图形渲染、动作捕捉、深度学习、语音合成等计算机手段创造及使用,并具有多重人类特征(外貌特征、人类表演能力、人类交互能力等)的综合产物。市面上也多将其称为虚拟形象、虚拟人、数字人等,代表性的细分应用包括虚拟助手、虚拟客服、虚拟偶像/主播等。
1.虚拟——存在于非物理世界中,不同场景实现难度不同;
3.人——在外表、行为、交互行为等方面高度拟人化,外在表现和交互效果已成为核心发展路线。
“人”是其中的核心因素。高度拟人化为用户带来的亲切感、关怀感与沉浸感是多数消费者的核心使用动力。能否提供足够自然逼真的相处体验,将成为虚拟数字人在各个场景中取代真人,完成语音交互方式升级的重要标准。
虚拟数字人具有形象能力、表达能力和感知互动能力三大特征。
1.形象能力——虚拟数字人拥有人的外观,具有特定的相貌、性别和性格等人物特征;
2.表达能力——虚拟数字人拥有人的行为,具有用语言、面部表情和肢体动作表达的能力;
3.感知互动——虚拟数字人拥有人的思想,具有识别外界环境、并能与人交流互动的能力。
这个过程主要分为四个阶段:1980-1999时期的形象类虚拟人;2000-2010时期的行动类虚拟人;2011-2020时期的行业专用虚拟人;2021之后的创作型虚拟人。其中形象类和行动类虚拟人以内容消费为主导,行业专用和创作型虚拟人以内容生产为主导。每个时期的虚拟人细节如上图所示。
1.虚拟人产业链上游——主要为技术提供方,是虚拟人技术发展的基石。主要涉及包括高精度建模、采样的技术的开发,实时动画渲染引擎的迭代;人工智能算力的升级、算法的开发、大数据的训练等领域。
2.虚拟人产业链中游——主要为平台方,是虚拟人技术场景的开拓者。主要涉及虚拟人IP孵化、设计、技术运维、运营等全链条。
3.虚拟人产业链下游——主要为运营方,是虚拟人内容生态的主要构建者与商业模式的主要探索者。主要涉及虚拟人内容生态的创作者与IP运营。
1.形象设计及建模
基于IP设计或真人偶像绘制原画,进行面部及身体3D建模,选择关键点。
2.建模绑定
将识别关键点映射至模型上,进行绑定。关键点绑定的数量及位置影响最终效果。
3.表演捕捉
利用动作捕捉设备或特定摄像头+图像识别,捕捉在形体、表情、眼神、手势等方面的关键点变化。
4.驱动及渲染
真人演员(在虚拟偶像中称为中之人)根据制作需要进行相应表演,实时驱动虚拟数字人表演。在更细致的制作中,会有针对真实角色和模型角色的差异,以及动作、眼神、手指等方面的操作。必要时需进行语音合成,形成特定设置语音。
5.生成内容,进行互动
进行直播,或录制其动作生成内容。
1.设计形象
扫描真人形态及表演、采集驱动数据。利用多方位摄像头,对通用/特定模特进行打点扫描(视最终需求可进行全身或局部扫描),采集其说话时的唇动、表情、面部肌肉变化细节、姿态等数据。
2.形象建模,进行绑定
设计所需的模型,或基于特定真人进行高还原度建模。进行关键点绑定。关键点绑定的数量及位置影响最终效果。
3.训练各类驱动模型
决定最终效果的核心步骤。利用深度学习,学习模特语音、唇形、表情参数间的潜在映射关系,形成各自的驱动模型与驱动方式。
4.内容制作
基于输入的语音(或由输入文本转化的语音),预测唇动、表情等参数。
5.进行渲染,生成最终内容
直播时进行实时渲染。为保证在特定场景下能够实现实时低延迟渲染,计算框架的大小、算力供给等技术问题同样会影响到虚拟数字人的最终生成效果。
专业性:专业知识能力的积累,丰富的知识图谱让虚拟人可以胜任更多的任务。
真实性:虚拟人拟真效果,更高的真实性将会提高用户交互时的沉浸感,产生情感互动。
开放性:人机交互的便利性,良好的开放性能够大大降低元宇宙内容生产者的创作门槛。
交互性:人机操作的先进性,优秀的交互性将提供更为多元化的用户触达模式。
创造力:虚拟人的自我创作能力,更高的创造力将为元宇宙自主运营的核心基建奠基。
生态性:基于虚拟人的内容生态建设,更好的生态性将带来更强的商业变现能力。
1.形象类虚拟人时期虚拟人受限于技术能力,写实性较低,但凭借肢体动作、表情等特征,作为数字身份的载体,活跃在电子游戏、影视作品、以及社交网络之中。
2.行动类虚拟人阶段,虚拟人技术仍以提升交互的真实性为主要提升方向,但得益于动捕技术的加入,无论在动作还是微表情方面,非人类特征得以进一步消除。
3.专业型虚拟人不再是“内容消费”领域的专属,而是开始转向“内容生产”领域,开始替代人类完成一些重复度高且耗时的共性问题,让人类专注个性与创造性领域,功能性提升催化新业态出现。
4.创作型虚拟人时代,人工智能的创造能力的突破,将带来各个维度的全面拉升,进而引发虚拟人生产力的革命,虚拟人将成为元宇宙的重要生产者。
一般的虚拟人设计先从外观开始,然后再应用到场景。在分论坛上,主讲人提出了一个完全相反的流程,次世文化的主讲人说他们的爆款产品都是反着来的,先从场景出发再去做人物,也就相当于先去对虚拟人的地基进行建设,再去构建虚拟人的角色个性,最后才是皮肤外观等等。下面我也将从这个逻辑出发对虚拟人进行设计研究。
虚拟人场景呈现形式是多样的。与真实人物一样,虚拟人物也有自己的不同的出处,例如来自游戏、来自文学作品等。由此,他们与品牌的合作方式也会有所不同。而伴随技术的成熟,虚拟人物可以出现的场景也在进一步拓展,目前,虚拟人物的主要活跃场景包括:娱乐综艺、游戏、时尚、运动健身、视频/大片、实时直播、全息/现场。下面来看几个案例。
1.娱乐综艺场景
2019年3月,以男星黄子韬为原型打造的第一代虚拟人物“韬斯曼”的首支概念预告曝光。韬斯曼将黄子韬标志性的人物细节,如发型、眼睛等,用动漫角色设计方式降维化处理,适当结合美漫硬朗和日漫偶像特色,打造出虚拟人物“韬斯曼”。韬斯曼是以艺人运作模式独立运营,拥有衍生漫画《韬斯曼炸不炸之太空突进》《韬斯曼炸不炸之电音对抗》。2021年2月6日,黄子韬推出第二代以他为原型的虚拟人物瑟路Saulte,隶属于黄子韬个人娱乐公司龙韬娱乐。同日还发布了一代和二代同台表演的视频。
2.游戏场景
3.时尚场景
2020年6月15日,法国奢侈品牌Balmain特别开设线上虚拟陈列室,品牌创意总监OlivierRousteing的虚拟人物作为主持人和向导,为观众讲述在疫情期间设计的系列背后的故事和想法,并展示度假系列设计。早在2018年9月,Balmain就公布了三位特别的虚拟超模品牌大使:Shudu、Margot、Zhi。三人身穿品牌的2018早春度假系列拍摄了宣传大片。
5.视频/大片场景
6.实时直播场景
7.全息/现场场景
2022跨年晚会上,邓丽君女士竟再度“亮相”,与当红歌手周深一同合唱《大鱼》。虚拟邓丽君由数字王国集团有限公司打造。根据该公司介绍,邓丽君“复活”整合了全球领先的面部捕捉、动作捕捉及顶级特效技术,采用了融合机器学习加持下的高阶渲染系统“MystiqueLive”。
1.完美偶像:初音未来
永远16岁,世界第一公主殿下!日本Vocaloid虚拟歌手,雅马哈以Vocaloid系列语音合成程序为基础,采样于日本声优藤田咲的音源数据资料,开发出音源库初音未来(MikuHatsune),在衍生文化现象后,包装封面上的葱色头发少女成为了第一代知名虚拟偶像。初音未来合作过的品牌有:LouisVuitton、联合利华旗下的力士、索尼、小米手机、宝马等。
完美偶像:洛天依
2.真实生活:Imma
有着精致五官、一头标志性粉红色短发的imma,是当今最红的虚拟人物(VirtualHuman)之一,也是亚洲首位虚拟模特。imma这个名字来自日语“いま”(现在),有种活在当下的意味。Imma在社交媒体上如此写道:“我是一位虚拟女孩,喜欢日本文化、电影和艺术。”浏览其社交媒体账号,除了品牌合作之外,多是具体的生活场景,例如:与好友一起吃寿司、去博物馆看展、晒新做的美甲、与好友一起出游等等。
3.智能助手:Neon
智能助手:百度智能云曦灵
曦灵是百度旗下数字人生产、内容创作、业务配置服务为一体的平台级产品。在内容生产维度,通过人像驱动、自然语言理解、语音交互、智能推荐等四大A引擎,一站式实现数字人的“能听、能说、能理解、可互动”。目前,已经为广电、互娱、金融、政务、运营商、零售等行业提供一站式的虚拟主持人、虚拟员工、虚拟偶像、品牌代言人的创建与运营服务。
4.行业专家:小诤
行业专家:Amira
2021年6月28日,高通中国宣布,旗下SnapdragonEliteGaming推出的虚拟人物Amira即将上线。官方消息称,Amira是一位来自2085年,身经百战的天才电竞选手,在神秘前辈的指引下穿越回2021年。
5.前沿实验:DOKU
前沿实验:Binxie和AlizaRex
1.超写实:这一类的虚拟人物外形上与真人几乎一致,难以分辨。
2.类人渲染:这一类的虚拟人物外形上向真人靠拢,但仍旧一眼能够看出非真人。
3.未来科幻:这一类的虚拟人物有更强烈的科幻色彩,呈现出未来主义、赛博朋克风格,其关键词例如:外星人、机械化等。
4.二次元动漫化:早期的虚拟人一般采用二次元风格。
1.超写实:LilMiquela
超写实:AYAYI
AYAYI拥有协调精致的五官、银色短发、长睫毛和细腻的肌肤纹理同时还拥有标准的身材。2021年5月20日起,AYAY1活跃在中国的各个社交媒体平台。有微博网友表示:“美得太真实了”、“这谁能看出来是Metahuman”等。事实上,AYAYI是燃麦科技旗下的国内首个超写实数字人“产品”,还签约了娱乐公司摩登天空旗下的虚拟音乐艺人厂牌“NoProblem”达成了合作,双方将针对数字化音乐演出场景展开深度战略合作。
类人渲染:Noonoouri
Noonoouri是一位生活在巴黎的18岁女孩。诞生于2018年3月的她,拥有黑色长发、大大的眼睛、精致的嘴巴和鼻子、白皙的肤色。长相上更贴近3D动画人物,同时150cm的身高拥有极好的比例,以上所有的信息都透露出这个形象和高端时尚可能产生的关联性,基本是oldhighfasion形象代表。
3.未来科幻:Galaxia
未来科幻:RUBY9100M
RUBY9100M多采用特色风格妆、CG特效脸、3D装饰等元素,融合了朋克、Y2K、解构主义等各种小众风格,“未来感”十足,例如其经常以机械姬的形象出现。RUBY9100M是香港3D艺术家ChanKaYu(陈嘉渝/RubyGloom)以自己的形象打造的虚拟人物,她希望创作一个属于自己的AI机器人,她有自由和生活,她在创作者死亡之后,还能继续生活。
4.二次元:RiCHBOOM
二次元:KDA
1.明星分身:迪丽冷巴
2.游戏角色:星瞳
游戏角色:无限王者团
无限王者团源自《王者荣耀》虚拟偶像男子团体计划,由云、亮、白、信、守约组成。2019年5月,成团曲《WakeMeUp》正式出道。并于2019年12月,2019TMEA腾讯音乐娱乐盛典获得年度音乐新势力奖。
3.时尚模特:Ask
时尚模特:ShuduGram
由魔珐科技和次世文化联手打造的翎于2020年5月18日正式出道,其发布于社交平台的内容涉及琴棋书画、梅兰竹菊,均营造出一种“科技国风感”,在虚拟偶像中独树一帜。2021年1月19日,由魔珐科技与次世文化共同打造的虚拟偶像翎登上《上线吧,华彩少年》舞台,以京剧梅派第三代传人的声音,现场演绎梅兰芳代表作《天女散花》,翎也因此成为首个登上央视舞台的虚拟偶像。
时尚KOL:柳夜熙
柳夜熙,抖音虚拟美妆达人,自称会捉妖,被称为2021年的“现象级”虚拟人。2021年10月31日,“柳夜熙”在其抖音账号发布了第一条视频,视频中不少真人围观虚拟人物化妆。在这个短短2分钟的视频中,融合了悬疑+美妆+剧情+后期特效技术。这个视频就收获了300多万赞,涨粉上百万。
时尚KOL:Noonoouri
时尚KOL:Imma
角色设定要点:1.要清楚地了解虚拟形象的受众群体,并对他们的特点和偏好进行剖析。2.针对目标使用者的需要,结合当前的营销状况及成功的案例,确定流行的人物设定元素。3.寻找不同的设定,是其它IP没有的。4.建立角色的世界观,并思考其将来的发展。
风格形象设计要点:1.虚拟人体的外形能够体现出角色的个性特点;2.超现实的图像要求注重局部的细节和质感的描绘,如眼睛、嘴唇等。3.注重在各种情况下的肌肤质地和打亮的作用,以防止产生过分的摩擦,提高其对各种情况的适应性。4.研究化妆,尝试各种化妆的作用,选择合适的化妆风格。5.在不需要的情况下,可以用真实的身体和虚拟的头部来强化现实。6.配合面部、动捕、全息影像等技术对角色进行精细的运动处理;可以在保持逼真的同时,对角色的面部表情进行一定的限定。7.着装也很重要,注意服装在与身体相结合时的纹理的改变。
产出内容设计要点:1.围绕角色设定、能力和发展潜力,对输出进行适当的计划。2.确保每个输出的内容都具有高品质和真实性。3.超过使用者的期望(在确保真实度的情况下,提高声音和画面的可见度)。4.作品必须能清晰地体现角色的人格魅力或人格特质。5.在体现人物特征的作品中,要有一种与观众产生共鸣的感觉,让他们与观众之间的关系更加紧密(清楚地了解他们的用户形象和要求)。6.注意在现实中的表现,多个视角(不能仅显示正面和脸部);在处理相片时,要留意调整角色灯光与周围的和谐程度。7.当不能保证音响效果或者可以长期使用时,不会先将人物的声音输出。
元宇宙时代,有能力的优质企业将开始寻求跨学科、跨行业融合,以寻求加速技术革新与产业应用落地。在技术升级的大背景之下,将加速行业标准化、智能化进程,从而参与生产带来效率提升,未来高精度虚拟人在高频需求下成本也将不断降低,让内容创作者将更多资源回归内容生产本身。
2.价值向内,责任向外
在元宇宙时代,拥有内容生产能力的虚拟人,将成为“内生力量”,构建起元宇宙价值的“内循环”。虚拟人在元宇宙中触犯法律与伦理,其身份所有者将作为主要责任人,受到虚拟与现实社会的分别裁判。
3.行业破壁,产业融合
元宇宙的本质是“融合”,伴随产业升温,将重新连接产业链上下游,催化全新场景与业态的产生。人类社会与元宇宙将以“元宇宙+”的模式而长期存在,虚拟人作为重要的数字化工具,将实现向传统产业的全面渗透,实现“产业外扩”,成为继互联网之后,推动各行业效率提升至新的高度的重要抓手。
1.创始团队
2.细分市场
虚拟偶像和虚拟内容生成成为共同的重点市场。
3.竞争状况
均处于竞争格局不成熟阶段,头部公司具有明显的先发优势,通过标杆客户验证其需求及技术可行性,并产生行业示范效应。
2.商业模式
3.细分市场
4.发展路线
在元宇宙里,每一个自然人都会被赋予一个具有自己的数字身体。而数字身体的主体就是一个虚拟人,它是一个参与到元宇宙中的社会活动的主体,它和一个被智能驱动的虚拟人形成了“人机共生”的完美结合,形成了一个新的商业形态。
目前,虚拟人已经开始向多个维度发展,包括政务、商业、娱乐、医疗、教育、金融、养老等各个领域,都在不断地提升着自己的能力。这就是“元宇宙”的“虚”和“实”的关系。