动漫插画风格图像生成研究

　　摘要把人像或景物等真实世界中的图片直接变换为动漫或插画风格图像是一件非常有趣且具有实际应用需求的任务，自该概念提出后就在计算机视觉领域引起了广泛的研究兴趣。当前在该任务的研究中主要通过生成对抗学习模型对图像进行风格迁移来实现。但是现有方法在图像风格迁移时难以同时传输风格与内容。本文针对该问题设计了新的生成器网络，在同时迁移风格与内容时做到了比较好的平衡。在将设计的生成对抗模型应用到图像风格转换任务上时，能够根据目标艺术风格生成对应的动漫插画效果。这些生成的插画图像不仅拥有非常好的视觉质量，而且原有的图像内容也能被很好地保留。

　　关键词深度学习;图像风格迁移;图像生成;生成对抗网络

　　1引言

　　使用计算机生成具有动漫插画艺术风格的图像是一件非常有趣的任务。当前对该任务的研究主要通过图像风格迁移来实现[1]。图像风格迁移指的是使用计算机对图像中的内容进行风格化处理，使其在原有内容能够被辨识的情况下呈现特定的艺术风格，是近年来计算机视觉中一个新的研究方向。由于风格迁移技术能够让计算机“自主”地进行艺术创作，因此自该概念提出以来，便立即引起了人们的广泛关注。

　　当前在对图像风格迁移的研究中，基本上采用深度卷积神经网络(ConvolutionalNeuralNetworks,CNN)或生成对抗网络(GenerativeAdversarialNetworks,GAN)学习模型[2]。这些模型能够将某一艺术风格添加到目标图像上，从而使其具有艺术化的属性。在图像风格迁移中，首先使用CNN或GAN从指定的风格图像中学习风格模式，再应用到目标图像上后就可以把它们转换为油画、卡通动漫、中国山水画等不同的艺术图像[1-4]，或者是在图像上实现季节和纹理的变换[5-6]。

　　由于GAN模型在训练中存在不稳定与难以优化的问题，当前许多风格迁移工作从损失函数的角度对其加以改进。在这些改进的模型中，DualGAN和CycleGAN等都能够比较好地完成图像风格迁移工作[7-8]。但是这些GAN模型在风格迁移时只能对风格或内容二者之一进行迁移。本文通过对其中的生成器结构进行改进，使得模型在对风格与内容同时迁移时做到比较好的平衡。改进后的模型被进一步应用到自然图像到动漫插画的风格变换中。实验结果表明，该模型能够在保留原自然场景内容的同时，拥用非常优秀的动漫插画风格效果。

　　2生成对抗网络

　　生成对抗网络GAN也是一种生成模型，但是它不需要显式地表达样本的概率分布，而是采用对抗学习的思想，通过生成器与判别器之间的零和博弈隐式地学习到数据的内在分布。当生成器与判别器达到纳什平衡状态后，由生成器生成的数据就能够拥有和真实数据相同的内在属性，这样就可以利用生成器来获得以假乱真的数据。GAN模型由生成器

　　生成器

　　当使用GAN模型生成图像数据时，需要为生成器

　　因此，在整个训练过程中，生成器

　　3动漫插画风格迁移模型

　　与一般的GAN模型相同，本文设计的动漫插画风格迁移模型也由生成器与判别器构成，通过两者对抗学习来获得数据的内在分布。为了能够在动漫插画风格迁移中比较好地保留图像原始内容，同时实现艺术风格的迁移，该生成器结构以ResNet-18作为基础模型，将图像的生成分为降采样与上采样两个部分。

　　4实验

　　实验采用了JunYanZhu等人的自然世界图像数据作为训练数据中的源域图像[8]，采用SametHicsonmez等人的艺术图像作为目标域[10]，源域与目标域的图像数分别为5402与4890。作为源域的图像主要是各种自然风光与景物图像，而作为目标域的图像来自于不同儿童插画绘本中的图像。它们由不同的艺术家所绘制，因此具有不同的艺术风格。

　　在训练时，这些图像都被统一缩放到了256×256的像素大小。本文图像风格迁移并不需要为目标图像与源图像配对，只需要从源域与目标域中随机选择图像进行配对训练即可。实验在Ubuntu18.04环境下，采用了PyTorch深度学习框架进行，并使用NVIDIA-1080GPU与CUDA10进行加速。实验使用了学习率为0.002的SGD优化器对模型作为200个epoch的优化，再将其用于动漫插画风格图像的生成测试。

　　分别为使用CycleGAN、DualGAN与本文模型生成插画风格图像。可以看到，这几种模型都能够实现动漫插画风格的迁移，生成的图像都在源图像内容可辨识的情况下添加上了目标艺术风格。但是CycleGAN生成的图像中会混入一些其他内容，给原始的图像内容带来了破坏;DualGAN虽然比较好地保留了源图像的内容，但是在图像风格上差强人意。与它们相比，本文模型生成的动漫插画中不仅原始内容得到了很好地保留，而且艺术风格明显，图像的整体视觉质量最为优秀。

　　5结论

　　本文对基于对抗生成网络的动漫插画风格迁移进行了研究。为了能够同时对图像风格与内容进行迁移，设计了新的生成器网络。在使用自然世界图像作为源域数据、艺术插画图像作为目标域数据进行训练后，本文方法能够生成具有优秀视觉质量的动漫插画图像。与CycleGAN和DualGAN等模型生成的图像相比，本文方法在图像风格与原有图像内容上达到了比较好的平衡。

　　参考文献

　　[1]YongchengJing,YezhouYang,ZunleiFeng,etal.NeuralStyleTransfer:AReview.IEEETransactionsonVisualizationandComputerGraphics.2019,26(11):33653385

　　[2]GoodfellowIan,PougetAbadieJean,MirzaMehdi,etal.GenerativeAdversarialNets//Advancesinneuralinformationprocessingsystems,2014:26722680

　　[3]XunHuang,MingYuLiu,SergeBelongie,etal.Multimodalunsupervisedimagetoimagetranslation//ProceedingsoftheEuropeanConferenceonComputerVision.IEEE,2018:172189

　　[4]JiachuanSheng,CaifengSong,JunWang,etal.ConvolutionalNeuralNetworkStyleTransferTowardsChinesePaintings.IEEEAccess,2019(7):163719163728

　　[5]FujunLuan,SylvainParis,EliShechtman,etal.DeepPhotoStyleTransfer//ProceedingsoftheIEEEInternationalConferenceonComputerVision.IEEE,2017:49904998

　　作者：董虎胜刘诚志朱晶徐苏安

转载请注明来自发表学术论文网：http://www.fbxslw.com/wslw/28540.html