人脸表情和姿态变化万般丝滑——基于3D人脸动态的图像

本文提出的FaceAnime包含一个3D动态预测网络(3DDynamicPrediction,3DDP)和一个先验引导的人脸生成网络(Prior-GuidedFaceGeneration,PGFG)。

首先，本文方法基于三维形变模型（3DMorphableModels,3DMM）对单张人脸图像进行三维重建,3DDP网络随后预测该图像未来的3D动态序列，之后将动态序列进行稀疏纹理映射渲染，最后使用PGFG网络完成相应的人脸生成。

模型的整体网络架构和操作流程如下图1所示：

图1.FaceAnime的整体框架图，包括3DDP网络（左）和PGFG网络（右）

（1）3D人脸重建和稀疏纹理映射

3D形变模型(3DMorphableModel,3DMM)用来从2D人脸图像中预测相应的3D人脸。其中，描述3D人脸的顶点(vertex)可由一系列2D人脸中的正交基线性加权得出：

如图2所示，给定一张源人脸图像(SourceFace)，其3D形状可以通过改变重建的3DMM系数来进行任意的修改,则目标人脸的稀疏纹理可以由修改后的3DMM系数获得。在人脸重定向任务中，修改的3DMM系数可由参考人脸视频帧得到，而在人脸预测任务中，则由LSTM模块预测得到。为了防止在纹理映射中，密集的纹理先验信息太强而导致目标动作中出现不符合期望的结果，因此在纹理映射过程中本文采用间隔采样即稀疏纹理映射，以适应不同的人脸运动变化。

图2.给定不同的3DMM系数所得到的不同三维人脸重建和稀疏映射的结果

不同于以往只针对某一种任务的视频生成，在本文中作者提出了三个不同的生成任务，即人脸视频重定向(Facevideoretargeting)，视频预测(Videoprediction)以及目标驱动的视频预测(Target-drivenvideoprediction)。对于retargeting任务，作者使用参考视频来提供序列的变化信息，而不使用3DDP来预测。

视频预测：给定一个观测到的动态序列（3DMMcoefficients），LSTM对其进行编码：

目标驱动的视频预测:对于LSTM来讲，要实现目标引导的运动生成，模型需要两个输入，即sourcedynamic和targetdynamic。不同于视频预测，作者使用了一个计时器来对targetdynamic进行重新赋权。整体的LSTM预测可以用公式表示为：

损失函数:给一个source人脸图像,作者使用2DAL模型回归出相应的3DMM系数，用来表示初始的3Ddynamic。之后模型通过观测来生成一个系数序列。在训练过程中，作者使用3DMMcoefficientloss和3Dvertexloss两个损失函数进行监督学习。3DMMcoefficientloss定义为预测3DMM系数和groundtruth3DMM系数之间的欧式距离：

而3Dvertexloss定义为：

先验引导的人脸生成:基于提出的稀疏纹理映射，source人脸图像被用于渲染预测的3Ddynamics。在这里，稀疏纹理作为引导人脸生成的先验信息。文中提到的网络PGFG(Prior-GuidedFaceGenerationNetwork)主要由条件GAN网络来组成，其结构如图1(右)所示。

需要注意的是，在身份信息损失中，R为预训练的人脸识别模型。

网络整体的损失函数为：

实验结果

作者分别对人脸视频重定向、视频预测以及目标驱动的视频预测三个任务做了相应的大量实验。

人脸视频重定向：在这个任务中，作者分别对人脸表情的重定向以及头部讲话重定向两个子任务进行了实验。实验表明，所提出的FaceAnime模型可以很好的将source人脸图像中的表情和动作重定向到目标图像上，生成相对应的姿态和讲话表情，实验结果如图3所示。

图3.FaceAnime的人脸表情重定向(a)和头部讲话重定向(b)实验结果

人脸视频预测：这个任务中包含视频预测以及目标驱动的视频预测两个子任务。对每一个预测任务，实验过程中作者随机选取一张从人脸图像测试集IJB-C中抽取的单张人脸图像。对于视频测试，作者首先使用3DDP网络从source人脸中预测一个运动序列，然后用该序列引导人脸视频的生成。而对于目标引导的人脸预测任务，则需要两个输入图像。一个是source人脸，另一个为target人脸。3DDP网络用于预测从source人脸到target人脸之间平滑的运动变化，从而引导人脸视频的生成。图4和图5分别展示了视频生成和目标驱动视频生成两个子任务的生成结果。

为了展示所提出方法的先进性，作者还同其他类似任务的算法进行了效果对比，部分结果显示如图6所示。

通过比较，FaceAnime不仅可以生成高质量且真实的人脸视频序列，同时生成的视频图像可以精确地还原参考视频中人脸表情和姿态变化，还能较好地保持人脸的身份信息。

大量实验表明，作者提出的方法可以将参考视频的姿态和表情变化重定位到source人脸上，并且对于一个随机的人脸图像，其可以生成合理的未来视频序列。对比其他最先进的人脸生成方法，所提出的方法在生成高质量和身份信息保持的人脸方面具有更好的效果。

作者介绍

涂晓光，中国民用航空飞行学院讲师，从事人工智能、深度学习、计算机视觉等领域的研究工作。2013-2020年在电子科技大学攻读硕士和博士学位，2018年作为国家公派联合培养博士生前往新加坡国立大学学习交流一年半,师从亚太地区杰出青年科学家冯佳时教授,并于2019年至2020年相继在PENSEES新加坡研究院和字节跳动人工智能实验室担任算法实习研究员。目前，以第一作者在IEEE-TCSVT,IEEE-TMM,ACM-TIST等世界权威期刊上发表论文11篇,Googlescholar引用200多次，第一作者发表SCI期刊总影响因子超过30，曾担任模式识别领域顶级期刊“PatternRecognition”特邀审稿人。2020年12月份博士毕业，2021年3月以高层次人才引进身份入职中国民用航空飞行学院。

冯佳时，现任新加坡国立大学电子与计算机工程系助理教授，机器学习与视觉实验室负责人。

中国科学技术大学自动化系学士，新加坡国立大学电子与计算机工程系博士。2014-2015年在加州大学伯克利分校人工智能实验室从事博士后研究。现研究方向为图像识别、深度学习及面向大数据的鲁棒机器学习。冯佳时博士曾获ICCV’2015TASK-CV最佳论文奖，2012年ACM多媒体会议最佳技术演示奖。担任ICMR2017技术委员会主席，JMLR,IEEETPAMI,TIP,TMM,TCSVT,TNNLS及CVPR,ICCV,ECCV,ICML,NIPS,AAAI,IJCAI等期刊、会议审稿人。