详解pix2pix图像转译模型——原理+效果图上次给大家介绍了CycleGAN，那么必提起的就是pix2pix，作为图像

pix2pix是一种基于条件式生成对抗网络(CGAN)的图像转译模型，而条件式生成抵抗网络是生成对抗网络的一种扩展，它通过在生成器和判别器中引入条件信息来实现有条件的图像生成。生成器采用U-Net网络结构，融合底层细粒度特征和高层抽象；判别器采用patchGAN网络结构，在图块尺度提取纹理等高频信息。（什么？看不懂？没关系滴，往后看都有对应部分的详细解释说明嗷）

那么简笔画猫转成真猫到底是一个什么原理腻，可以这样理解：你可以获取很多真猫的图片，用opencv的边缘提取，把每一张图片的边缘都给提取出来，构建一个像素到像素的映射数据集，也就是数据集包含两类图片，一类是边缘轮廓简笔画，另一类是真猫的图片，它们俩是一一对应的关系，所以pix2pix解决的是一个像素配对的图像转译问题，那么我们上次介绍的cyclegan呢解决的是一个非配对的图像转译问题。同样，这里也能用cyclegan来解决这些问题。imagetranslation领域非常的好玩，既可以用配对的数据集去训练，也可以用不配对的数据集。

pix2pix使用的是条件式生成对抗网络，条件式指的是对生成器不光要输入一个噪声，还要输入一张原始图像，因为你就要对这张图像做转译嘛；对于判别器也是一样的，不仅要把真假图像输入给它，让它判别，还要把输入的这张原始图片也输入给它，让判别器去判断这一对图像是真是假。不管是生成器还是判别器，都是由这样的模块组成的：***convolution-BatchNorm-ReLu（CBR模块）***

判别器在努力最大化这个函数，生成器在努力最小化这个函数（严谨的说应该是最小化第二项）。最终的结果就是一个双人的极大极小零和博弈。（讲到这里，这个损失函数大家应该都理解了叭，很多朋友第一次学条件GAN的时候对这个函数就整不明白）

生成器是一个U-Net网络结构，也是图像分割领域常用的一个网络，特点是结构像U型一样。U-Net的结构先是一个编码器Encoder，然后是一个解码器decoder。编码器的话先逐层下采样，中间是一个维度很小瓶颈层，再逐层的上采样，上采样和下采样是对称的，输入一张图再生成另外一张大小一样的图。这样的话所有的信息流都会被逼得流过瓶颈层，而瓶颈层的维度又很小，所以就不可避免地会带来信息的丢失。为了避免这一问题呢，U-Net在对称的层都引入了一个跳转连接skipconnection，通俗理解skipconnection就是抄近道，能够把底层的像素级别的特征融合到高层，这样就可以充分利用好底层特征（底层特征是极其重要滴）。如何对信息进行融合腻，直接沿通道方向摞起来就可以啦，摞起来再输入下一层进行卷积处理

对称的镜像的这个U-Net层呢是可以底层和高层直接连接的，所以特征可以从底层汇聚到高层，这样既有底层的边缘、转角、轮廓、颜色等信息，又有高层语义特征的这种纹理等高级语义特征。所以它的生成效果就好。生成器它的使命就是努力生成让判别器误以为真的假图像。

判别器呢在努力地分辨照片的真假。生成器生成的假照片和这个输入会组成一对图像喂给判别器，判别器如果足够优秀的话，应该会给这一对图像判成假；若再把真实的照片和这个输入一起喂给判别器的话，好的判别器应该会给这一对判别为真。所以发现了没，判别器其实也是一个二分类模型，只不过它输入的是图像对，而不是单张图像，它判断的是这一对是真是假

判别器的名字叫马尔科夫判别器，马尔科夫的意思是说patch之间是互相独立的，就符合马尔科夫假设嘛。为了让判别器去捕捉高级特征，就使用到了局部小图块的尺度进行判别，这就叫做PatchGAN。也就是把整个图分成n×n的网格，然后对每一个网格来做二分类，PatchGAN对每一小块的纹理、颜色辨别真伪，来判定里面的图是真图还是假图。这样的好处就是可以全卷积的运行每一张图像，把n×n的每个结果加起来做平均，就可以得到对整张图像的判别结果。

训练过程中使用了Adam优化器（第一动量取0.5，第二动量取0.999），随机梯度下降。

学完上面的知识后，让我们来理解一下这张判断鞋子真假的流程图。小伙伴们能不能自己对着图捋一下工作流程腻我来说了喔：生成器G输入的是噪声和一个输入图像，那么它生成的是一个假图像，把这个输入和假图像一起喂给判别器，如果判别器足够好，那么就应该把这一对图像判定为假；另外呢如果是真图像和对应的输入图像，输入给判别器，那么优秀的判别器应该给这一对图像判定为真。在这里条件式的作用就体现出来了，它会使得生成的图像既像真鞋，也得和输入的线稿相吻合，像素到像素得配对，所以叫pix2pix(揭秘了哈)

在上次的CycleGAN中，给大家介绍了两种调用预训练模型的方式，一种是命令行方式，一种是PythonAPI方式调用。这次就复习一下，用命令行的方式调用一下pix2pix。

show_img_from_path('outputs/E/E1_facades.jpg')得到：

再运行下面的代码块：

!pythondemo/translation_demo.py\configs/pix2pix/pix2pix_vanilla_unet_bn_wo_jitter_flip_edges2shoes_b1x4_190k.py\checkpoints/pix2pix_vanilla_unet_bn_wo_jitter_flip_1x4_186840_edges2shoes_convert-bgr_20210902_170902-0c828552.pth\tests/data/paired/test/33_AB.jpg\--save-pathoutputs/E/E2_shoes.jpg\--devicecuda:0show_img_from_path('tests/data/paired/test/33_AB.jpg')运行得到：

上面的代码很简单，主要流程都是先指定configs配置文件，再指定一个pix2pix的checkpoint模型权重文件就可以啦