一种基于神经网络的视频生成方法及相关装置制造方法及图纸

本申请公开一种基于神经网络的视频生成方法及相关装置。视频生成方法包括：获取素材文件，其中所述素材文件包括语音文件、文本文件以及图像文件中的至少一种；将所述素材文件输入视频生成神经网络，通过所述视频生成神经网络对所述素材文件生成压缩视频数据；其中，所述压缩视频数据中至少部分视频帧的表征依赖于其他视频帧。通过上述方案可以节省编码计算量，提高视频生成网络本身的运行效率和生成视频流的质量。视频流的质量。视频流的质量。

【技术实现步骤摘要】
一种基于神经网络的视频生成方法及相关装置


[0001]本申请属于视频图像处理
，尤其涉及一种基于神经网络的视频生成方法及相关装置。

技术介绍

[0002]随着基于深度神经网络的视频生成技术越来越成熟，越来越多的场景使用到视频内容生成技术。视频内容生成技术通常可以把语音、文本或者图像信息等素材文件生成对应的视频。
[0003]目前的视频内容生成过程通常可以采用视频生成系统进行实现，视频生成系统通常包括GPU(graphics processing unit、图形处理器)服务器、编码器以及解码器。在进行视频内容生成时通常是在GPU服务器上经视频生成网络生成视频流，接着将该视频流传输至编码器，以通过编码器对该视频流进行视频流编码，然后将编码后的视频流传输到播放终端，播放终端中的解码器则可以对该编码后的视频流进行视频解码，从而得到可以进行播放的视频流数据。
[0004]然而现有的视频生成系统这个流程的问题在于，基于深度神经网络的视频生成方法通常计算量很大，需要占用大量的GPU资源，同时视频流编码也需要占用GPU资源，导致整个系统的计算量过大，影响系统运行效率。另外，先由视频生成网络生成视频流再对其进行编码，无疑是在增加计算量的同时又降低了视频质量，这对于整个视频内容生成系统的效果和效率是不利的。

技术实现思路

[0005]本申请提供一种基于神经网络的视频生成方法及相关装置，以解决现有视频生成网络生成视频流需要先将素材文件生成对应的视频再对该视频进行编码传输而导致视频生成系统的计算量过大且影响系统运行效率技术问题。
[0006]为解决上述技术问题，本申请采用的一个技术方案是：提供一种基于神经网络的视频生成方法，其中，所述方法包括：获取素材文件，其中所述素材文件包括语音文件、文本文件以及图像文件中的至少一种；将所述素材文件输入视频生成神经网络，通过所述视频生成神经网络对所述素材文件生成压缩视频数据；其中，所述压缩视频数据中至少部分视频帧的表征依赖于其他视频帧。
[0007]其中，所述视频生成方法还包括：获取到多个样本文件以及每一所述样本文件对应的样本完整视频帧，每一所述样本文件包括语音文件、文本文件以及图像文件的至少一种；将所述样本文件输入到视频生成神经网络的初始网络中，利用所述初始网络对所述样本文件生成预测压缩视频帧数据；其中，所述预测压缩视频帧数据中至少部分视频帧的表征依赖于其他视频帧；利用可微分解码模块对所述预测压缩视频帧数据进行解码，得到解码后的完整视频帧；利用解码后的完整视频帧与所述样本文件对应的样本完整视频帧对所述初始网络的网络参数进行训练，得到所述视频生成神经网络。
[0008]其中，所述利用解码后的完整视频帧与所述样本文件对应的样本完整视频帧对所述初始网络的网络参数进行训练，得到所述视频生成神经网络的步骤包括：计算所述解码后的完整视频帧与样本文件对应的样本完整视频帧的损失函数；基于所述损失函数调节所述初始网络的参数，得到所述视频生成神经网络。
[0009]其中，所述视频生成神经网络包括编码器和解码器，所述编码器包括编码卷积模块和所述编码卷积模块之后的第一残差模块，所述解码器包括第二残差模块和所述第二残差模块之后的全连接层；将所述素材文件输入所述视频生成神经网络，依次经过所述编码器和所述解码器，由所述解码器输出所述压缩视频数据。
[0010]其中，所述预测压缩视频帧数据是按照预设传输协议生成的；所述利用可微分解码模块对所述预测压缩视频帧数据进行解码，得到解码后的完整视频帧，包括：利用所述可微分解码模块按照与所述预设传输协议对应的解码规则对所述预测压缩视频帧数据进行解码，得到解码后的完整视频帧。
[0011]其中，所述压缩视频数据是按照预设传输协议生成的；所述方法进一步包括：将所述预设传输协议添加到所述压缩视频数据的头文件中。
[0012]其中，所述预设传输协议对应的编码压缩规则为H.26系列编码规则；所述预测压缩视频帧数据和所述压缩视频数据均包括I帧、P帧以及B帧；其中，所述I帧为独立编码帧，所述I帧进行独立编码压缩且其解码过程不依赖其他参考帧；所述P帧依赖于其前方的I帧或者P帧进行编码压缩，且所述P帧的解码过程也依赖于其前方的I帧或者P帧进行解码；所述B帧依赖于其前方的I帧或者P帧进行编码压缩，且依赖于其后方的P帧进行编码压缩，同时，所述B帧的解码过程也依赖于其前方的I帧或者P帧及其后方的P帧进行解码。
[0013]为解决上述技术问题，本申请采用的另一个技术方案是：提供一种基于神经网络的视频生成装置，其中，所述视频生成装置包括：
[0014]获取模块，获取素材文件，其中所述素材文件包括语音文件、文本文件以及图像文件中的至少一者；
[0015]视频生成神经网络模块，用于将所述素材文件输入视频生成神经网络，通过所述视频生成神经网络对所述素材文件生成压缩视频数据；其中，所述压缩视频数据中至少部分视频帧的表征依赖于其他视频帧。
[0016]为解决上述技术问题，本申请采用的另一个技术方案是：一种电子设备，其中，包括相互耦接的存储器和处理器，所述处理器用于执行所述存储器中存储的程序指令，以实现如前文所述的视频生成方法。
[0017]为解决上述技术问题，本申请采用的另一个技术方案是：一种计算机可读存储介质，其上存储有程序指令，其中，所述程序指令被处理器执行时实现如前文所述的视频生成方法。
[0018]本申请的有益效果是：本申请的基于神经网络的视频生成方法通过视频生成神经网络可以对素材文件进行处理从而形成压缩视频数据，所得到的压缩视频数据可以直接进行传输，从而可以节省编码计算量，提高视频生成网络本身的运行效率和生成视频流的质量。进一步，通过采用可微分解码模块对利用视频生成神经网络的初始网络生成的预测压缩视频帧数据进行解码，得到解码后的完整视频帧，则可以利用解码后的完整视频帧与对应的样本完整视频帧进行损失函数计算，并根据损失函数对视频生成神经网络的初始网络
的网络参数进行训练，从而可以提高视频生成神经网络将素材文件生成成视频的精确度和稳定性。
附图说明
[0019]为了更清楚地说明本申请实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图，其中：
[0020]图1是本申请视频生成方法一实施例的流程示意图；
[0021]图2是一应用场景中对初始视频图像信息中部分图像帧进行编码的示意图；
[0022]图3是本申请中的视频生成神经网络一实施例的框架示意图；
[0023]图4是本申请中的视频生成神经网络的训练方法一实施例的流程示意图；
[0024]图5是本申请基于神经网络的视频生成装置一实施例的框架示意图；
[0025]图6是图5的视频生成装置另一实施方式的框架示意图；
[0026]图7是本申请本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于神经网络的视频生成方法，其特征在于，所述方法包括：获取素材文件，其中所述素材文件包括语音文件、文本文件以及图像文件中的至少一种；将所述素材文件输入视频生成神经网络，通过所述视频生成神经网络对所述素材文件生成压缩视频数据；其中，所述压缩视频数据中至少部分视频帧的表征依赖于其他视频帧。2.根据权利要求1所述的基于神经网络的视频生成方法，其特征在于，所述视频生成方法还包括：获取到多个样本文件以及每一所述样本文件对应的样本完整视频帧，每一所述样本文件包括语音文件、文本文件以及图像文件的至少一种；将所述样本文件输入到视频生成神经网络的初始网络中，利用所述初始网络对所述样本文件生成预测压缩视频帧数据；其中，所述预测压缩视频帧数据中至少部分视频帧的表征依赖于其他视频帧；利用可微分解码模块对所述预测压缩视频帧数据进行解码，得到解码后的完整视频帧；利用解码后的完整视频帧与所述样本文件对应的样本完整视频帧对所述初始网络的网络参数进行训练，得到所述视频生成神经网络。3.根据根据权利要求2所述的基于神经网络的视频生成方法，其特征在于，所述利用解码后的完整视频帧与所述样本文件对应的样本完整视频帧对所述初始网络的网络参数进行训练，得到所述视频生成神经网络的步骤包括：计算所述解码后的完整视频帧与样本文件对应的样本完整视频帧的损失函数；基于所述损失函数调节所述初始网络的参数，得到所述视频生成神经网络。4.根据权利要求1至3任一项所述的基于神经网络的视频生成方法，其特征在于，所述视频生成神经网络包括编码器和解码器，所述编码器包括编码卷积模块和所述编码卷积模块之后的第一残差模块，所述解码器包括第二残差模块和所述第二残差模块之后的全连接层；将所述素材文件输入所述视频生成神经网络，依次经过所述编码器和所述解码器，由所述解码器输出所述压缩视频数据。5.根据权利要求2所述的基于神经网络的视频生成方法，其特征在于，所述预...

【专利技术属性】
技术研发人员：胡诗卉，何山，胡金水，殷兵，刘聪，
申请(专利权)人：科大讯飞股份有限公司，
类型：发明
国别省市：