一种多风格的游戏内风格转移系统技术方案

本发明专利技术提供了一种多风格的游戏内风格转移系统，所述生成系统流程包括，首先搭建系统所使用的神经网络模型；从数据库中取出内容图像和风格参考图像作为训练集；对风格参考图像和内容图像进行图像预处理；计算总损失(内容损失和风格损失)；根据计算的总损失，计算梯度并更新输入图像；最终将训练好的模型体系结构及其参数进行保存；系统加载模型体系结构及其参数，之后用户选择游戏内的风格；系统将游戏视频的每一帧的图像输入模型；将所述模型的输出进行渲染后复制到屏幕上进行显示，实时地提供不同风格的虚拟游戏场景。供不同风格的虚拟游戏场景。供不同风格的虚拟游戏场景。

【技术实现步骤摘要】
一种多风格的游戏内风格转移系统


[0001]本专利技术涉及深度学习的计算机视觉领域，主要设计一种多风格的游戏内风格转移系统。

技术介绍

[0002]神经风格转移技术可以使用深度学习以另一幅图像的风格来创作图像。神经风格转移技术的特点是利用深度神经网络来进行图形变换，将一种图像的风格(如毕加索)转移到用户所提供的照片上。这种方法已经被世界各地的艺术家和设计师使用，在原有的风格的技术上开发新的艺术品。
[0003]本专利技术则在该项技术的基础上，设计了一种多风格的游戏内风格转移系统，将该项技术应用到游戏上来。根据用户的喜好，来为用户创建一个定制的交互环境，进一步增强用户的游戏体验。

技术实现思路

[0004]专利技术目的：本专利技术提供了一种多风格的游戏内风格转移系统，根据用户的选择，来对游戏的基础背景视频实时地进行神经风格转移，创建不一样的游戏体验环境。
[0005]为实现上述目的，本专利技术采用的技术方案为：
[0006]一种多风格的游戏内风格转移系统，包括以下步骤：
[0007]步骤S1、首先搭建系统所使用的神经网络模型；
[0008]步骤S2、从数据库中取出内容图像和风格参考图像作为训练集；
[0009]步骤S3、对风格参考图像和内容图像进行图像预处理；
[0010]步骤S4、计算总损失(内容损失和风格损失)；
[0011]步骤S5、根据计算的总损失，计算梯度并更新输入图像
[0012]步骤S6、重复执行步骤S3
‑<br/>S5,最终将训练好的模型体系结构及其参数进行保存；
[0013]步骤S7、系统加载模型体系结构及其参数，之后用户选择游戏内的风格；
[0014]步骤S8、系统将游戏视频的每一帧的图像输入模型；
[0015]步骤S9、将所述模型的输出进行渲染后复制到屏幕上进行显示；
[0016]步骤S10、重复执行步骤S8
‑
S9，实时地提供不同风格的虚拟游戏场景；
[0017]进一步地，所述步骤S1、搭建系统所使用的模型具体步骤如下：
[0018]步骤S1.1、选择系统所需要的深度学习模型(如VGG16,VGG19等)；
[0019]步骤S1.2、去掉所述深度学习模型的顶层并加载参数；
[0020]步骤S1.3、选择所述深度学习模型的若干卷积层作为内容中间层；
[0021]步骤S1.4、选择所述深度学习模型的若干卷积层作为风格中间层；
[0022]步骤S1.5、以所述深度学习模型的输入作为新模型的输入，所述内容中间层和风格中间层的输出作为新模型的输出构建新模型。
[0023]进一步地，所述步骤S2、从数据库中取出内容图像和风格参考图像作为训练集的
具体步骤如下：
[0024]所述的内容图像指从视频和动画电影中获得的图像，所述风格参考图像指画家的绘画图像；
[0025]进一步地，所述步骤S3、对所述风格参考图像和内容图像进行图像预处理的具体步骤如下：
[0026]步骤S3.1、将所述内容图像投入所述新模型中，得到内容中间层输出的内容目标值；
[0027]步骤S3.2、将所述风格参考图像投入所述新模型中，得到风格中间层输出的风格目标值；
[0028]步骤S3.3、将所述输入图像投入所述新模型中，获得内容中间层输出的内容输出值和风格中间层输出的风格输出值；
[0029]进一步地，所述步骤S4、计算总损失(内容损失和风格损失)的具体步骤如下：
[0030]步骤S4.1、根据所述的内容目标值和所述的内容输出值，计算内容损失；
[0031]步骤S4.2、根据所述的风格目标值和所述的风格输出值，计算风格损失；
[0032]步骤S4.3、根据所述的内容损失和风格损失，计算总损失；
[0033]进一步地，所述步骤S1.2、所述深度学习模型的顶层和参数具体如下：
[0034]所述深度学习模型的顶层指分类等任务的分类器，所述参数则是分类任务中深度模型已经训练好的参数。
附图说明
[0035]图1是本专利技术提供的一种多风格的游戏内风格转移系统的总体流程图；
[0036]图2是本专利技术提供的神经风格转移的具体流程图；
[0037]图3是本专利技术提供的内容图像和风格参考图像；
[0038]图4是本专利技术提供的神经风格转移后图像；
[0039]图5是本专利技术提供的GRAM矩阵使用原因阐述图像。
具体实施方式
[0040]下面结合附图提供具体实施例，对本专利技术进行进一步的说明。
[0041]神经风格转移是一种优化技术，该技术使用深度学习以另一幅图像的风格来创作图像。神经风格迁移主要处理三幅图像，一幅内容图像、一幅风格参考图像(如著名画家的作品)和需要设置风格的输入图像。通过将上述三幅图像混合在一起，使要设置风格的输入图像经过转换后看起来与内容图像相似，但是以风格参考图像的风格进行绘制。一般情况下，我们会将需要设置风格的输入图像初始化为内容图像。
[0042]神经风格迁移的原理是定义两个距离函数，一个用于描述需要设置风格的输入图像和内容图像的不同程度L
content
，另一个用于描述需要设置风格的输入图像和风格参考图像在风格方面的差异L
style
。然后根据给定的三幅图像，我们尝试变换需要设置风格的输入图像以最小化与内容图像的内容距离及其样式图像的样式距离。更具体的说，我们将通过反向传播来最小化内容和样式距离(损失)，并对基本输入图像进行转换。最终，创建与内容图像的内容和风格图像的风格匹配的图像。
[0043]结合图1和图2，首先，用户需要从若干个模型中选择目标模型。根据选择的模型，我们需要从数据库中加载没有分类部分的模型和匹配的模型参数(已经经过训练)。在本实施例中，我们将以VGG19为例进行描述。根据加载的模型，用户需要从模型中选择若干中间层来获取图像的内容和风格表示。从网络的输入层开始，前几个层的激励响应表示边缘和纹理等低级feature(特征)。随着层数加深，最后几层代表更高级的feature(特征)
‑‑
实体部分，如轮子或眼睛。这些中间层是从图像中定义内容和风格的表示所必需的。对于一个输入图像，我们尝试匹配这些中间层的相应风格和内容目标的表示。一般情况下，我们会选择卷积层作为这些中间层。至于经过预训练的图像分类网络中的这些中间层的输出允许我们定义风格和内容表示的原因。从高层理解，为了使网络能够实现图像分类(该网络已被训练过)，它必须理解图像。这需要将原始图像作为输入像素并构建内部表示，这个内部表示将原始图像像素转换为对图像中存在的feature(特征)的复杂理解。
[0044]这也是卷积神经网络能够很好地推广的一个原因：它们能够捕获不变性并定义类别(例如猫和狗)之间的feature(特征)，这些feature(特征)与背景噪声和其他干扰无关。因此，将原始本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种多风格的游戏内风格转移系统，其特征在于，包括以下步骤：步骤S1、首先搭建系统所使用的神经网络模型；步骤S2、从数据库中取出内容图像和风格参考图像作为训练集；步骤S3、对风格参考图像和内容图像进行图像预处理；步骤S4、计算总损失，包括内容损失和风格损失；步骤S5、根据计算的总损失，计算梯度并更新输入图像；步骤S6、重复执行步骤S3
‑
S5,最终将训练好的模型体系结构及其参数进行保存；步骤S7、系统加载模型体系结构及其参数，之后用户选择游戏内的风格；步骤S8、系统将游戏视频的每一帧的图像输入模型；步骤S9、将所述模型的输出进行渲染后复制到屏幕上进行显示；步骤S10、重复执行步骤S8
‑
S9，实时地提供不同风格的虚拟游戏场景。2.根据权利要求1所述的一种多风格的游戏内风格转移系统，其特征在于，所述步骤S1、搭建系统所使用的模型具体步骤如下：步骤S1.1、选择系统所需要的深度学习模型；步骤S1.2、去掉所述深度学习模型的顶层并加载参数；步骤S1.3、选择所述深度学习模型的若干卷积层作为内容中间层；步骤S1.4、选择所述深度学习模型的若干卷积层作为风格中间层；步骤S1.5、以所述深度学习模型的输入作为新模型的输入，所述内容中间层和风格中间层的输出作为新模型的输出构建神经网络模型。3.根据权利要求1所述的一种多风格的游戏内风格转...

【专利技术属性】
技术研发人员：曹杰，刘金良，王昌辉，尹文尧，孙熙铭，周迅磊，陈志杰，
申请(专利权)人：云境商务智能研究院南京有限公司，
类型：发明
国别省市：