本发明涉及手写体生成、深度学习和神经网络技术，尤其涉及一种基于gan网络的手写体书法文字生成方法。
背景技术：
生成式对抗网络(gan,generativeadversarialnetworks)是一种深度学习模型，最初由iangoodfellow提出，是近年来复杂分布上无监督学习最重要的方法之一。gan模型通过框架中的两个模块生成器(generator)和判别器(discriminator)的互相博弈学习产生高质量的输出，其目标是训练一个生成模型完美的拟合真实数据分布使得判别模型无法区分。生成模型的作用是模拟真实数据的分布，判别模型的作用是判断一个样本是真实的样本还是生成的样本，通过轮流训练判别器和生成器，令其相互对抗，从复杂概率分布中采样，最终完成神经网络的训练。目前，gan网络被广泛应用于图像生成领域，生成对应的图像，成为最重要的学习任意复杂数据分布的生成模型框架。
技术实现要素：
本发明的技术方案是：
一种基于gan网络的手写体书法文字生成方法，通过高清图像采集装置收集大量书法手写体文字，并将图像进行预处理，形成独立的文字图像，并记录文字的行文顺序；整个gan网络模型由单字生成网络和页文字生成网络构成，单字生成网络由风格特征提取器es、语义特征提取器ec、单字书法生成器gs和单字书法鉴别器ds构成，页文字生成网络由页文字生成器gw和页书法鉴别器dw构成；训练过程中，先训练由风格特征提取器es、语义特征提取器ec、单字书法生成器gs构成的网络，然后再交替训练风格特征提取器es、语义特征提取器ec、单字书法生成器gs和单字书法鉴别器ds组成的网络，最终形成单字书法生成模型；单字书法生成器训练完成后，则通过交替训练页文字生成器gw和页书法鉴别器dw，最终形成页书法文字生成模型，用于指定文字书法的生成。另外，通过用户个性化的文字内容采集，利用现有模型基础进行训练，可以形成该用户个性化的手写体文字生成模型。其中，
用于书法手写体生成网络模型的训练，包括以下步骤：
步骤101、通过所述的高清图像采集装置收集大量书法手写体文字，形成图像数据，将图像进行预处理，形成大小一致的单字图像，对其进行数据标注，表明文字语义及书法风格，并记录文字的行文顺序；
步骤102、设计所述的单字生成网络和页文字生成网络的网络结构和目标函数；
步骤103、开始训练所述的单字生成网络，初始化所述的风格特征提取器es、语义特征提取器ec、单字书法生成器gs和所述的单字书法鉴别器ds；
步骤104、在步骤101采集的单字图像集合进行多次sample采样imgi，通过所述的提取器es和语义特征提取器ec进行特征提取，加入随机内容，形成特征向量zi，再通过所述的单字书法生成器gs输入特征向量zi生成单字图片genimgi；
步骤106、选择一个分布p(比如正态分布)多次sample采样特征向量，加入随机内容，形成特征向量pzi，再通过所述的单字书法生成器gs输入特征向量pzi生成单字图片pgenimgi
步骤107、更新所述的风格特征提取器es、语义特征提取器ec的参数，使得真实图像和生成图像的重构误差小于阈值，并且通过所述的风格特征提取器es、语义特征提取器ec生成的特征向量z的分布接近步骤106选择的分布p(例如计算两个特征向量的kl散度)；
步骤108、更新所述的单字书法生成器gs的参数，使得真实图像和生成图像的重构误差小于阈值，同时要骗过所述的单字书法鉴别器ds，使得所述的单字书法鉴别器ds无法区分真实图片和由所述的单字书法生成器gs生成的图片，并且满足单字的书法风格和语义内容；
步骤109、更新所述的单字书法鉴别器ds的参数，使得可以区分真实图片img、生成图片genimg和pgenimg。
步骤110、交替训练，最终形成所述的单字生成网络模型；
步骤111、开始训练所述的页文字生成网络，初始化所述的页文字书法生成器gw和所述的页文字书法鉴别器dw；
步骤112、将一页文字的图片pageimage进行处理，并获取其书法风格和单个文字的语义内容；根据一页文字的内容逐个将文字输入到所述的单字书法生成器gs的网络，生成单个文字图片，再将其按照行文顺序，输入到所述的单字组合器lstm网络中，最终生成一页文字的书法图片genpageimage；
步骤113、更新所述的单字组合器lstm网络gl的参数，使得所述的页书法鉴别器dw无法区分真实图片pageimage和由所述的页文字书法生成器gw生成的图片，并且满足单字的书法风格和语义内容；
步骤114、更新所述的页文字书法鉴别器dw的参数，使得可以区分真实图片pageimage、生成图片genpageimage。
步骤115、交替训练，最终形成所述的页文字生成网络模型。
书法文字生成，包括以下步骤：
步骤201、将需要生成手写体书法图像的文字内容，进行分页，形成单字语义特征向量，并记录行文顺序；
步骤202、设定目标书法风格向量；
步骤203、(可选的)采用用户个性化的手写体书法文字模型，通过采集该书写者的手写文字数据基于现有模型，进行有针对性的训练，调整参数，生成该书写者独特的文字生成模型gw；
步骤204、将单字语义特征向量，目标书法风格向量并加入随机向量形成单字特征向量，将其按行文顺序输入到所述的页文字生成网络gw；
步骤205、由所述的页文字生成网络gw根据输入向量，生成书法手写体图片；
步骤206、将所有的待生成的文字内容转换为书法图像，形成多页内容。
本发明的有益效果是
用于指定文字书法的生成，另外，通过用户个性化的文字内容采集，利用现有模型基础进行训练，可以形成该用户个性化的手写体文字生成模型，形成个性化的书法图像文字图片。
附图说明
图1是书法手写体生成网络结构示意图；
图2是书法手写体生成网络模型训练流程图；
图3是书法手写体生成流程图。
具体实施方式
为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例，基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动的前提下所获得的所有其他实施例，都属于本发明保护的范围。
如图1中所示，通过高清图像采集装置收集大量书法手写体文字，并将图像进行预处理，形成独立的文字图像，并记录文字的行文顺序；整个gan网络模型由单字生成网络和页文字生成网络构成，单字生成网络由风格特征提取器es、语义特征提取器ec、单字书法生成器gs和单字书法鉴别器ds构成，页文字生成网络由页文字生成器gw和页书法鉴别器dw构成；训练过程中，先训练由风格特征提取器es、语义特征提取器ec、单字书法生成器gs构成的网络，然后再交替训练风格特征提取器es、语义特征提取器ec、单字书法生成器gs和单字书法鉴别器ds组成的网络，最终形成单字书法生成模型；单字书法生成器训练完成后，则通过交替训练页文字生成器gw和页书法鉴别器dw，最终形成页书法文字生成模型，用于指定文字书法的生成。另外，通过用户个性化的文字内容采集，利用现有模型基础进行训练，可以形成该用户个性化的手写体文字生成模型。
其中，
为了描述方便，以下过程中采用高清数码相机作为采集装置，风格特征提取器es和语义特征提取器ec可以使用全卷积网络，书法生成器和书法辨别器等网络主要结构可以采用cnn网络。本领域技术人员将理解的是，除了使用以上网络之外，根据本发明的实施方式的构造也能够应用于其他方法之上。
一、书法手写体生成网络模型的训练
如图2所示，书法手写体生成网络模型的训练包括以下步骤：
步骤107、更新所述的风格特征提取器es、语义特征提取器ec的参数，使得真实图像和生成图像的重构误差小于0.01(例如图像的l1距离)，并且通过所述的风格特征提取器es、语义特征提取器ec生成的特征向量z的分布接近步骤106选择的分布p(例如计算两个特征向量的kl散度)；
步骤108、更新所述的单字书法生成器gs的参数，使得真实图像和生成图像的重构误差小于0.01(例如图像的l1距离)，同时要骗过所述的单字书法鉴别器ds，使得所述的单字书法鉴别器ds无法区分真实图片和由所述的单字书法生成器gs生成的图片，并且满足单字的书法风格和语义内容；
二、书法文字生成
如图3所示，书法文字生成包括以下步骤：
以上所述的实施例，只是本发明具体实施方式的一种，本领域的技术人员在本发明技术方案范围内进行的通常变化和替换都应包含在本发明的保护范围内。
以上所述仅为本发明的较佳实施例，仅用于说明本发明的技术方案，并非用于限定本发明的保护范围。凡在本发明的精神和原则之内所做的任何修改、等同替换、改进等，均包含在本发明的保护范围内。