增强图片的生成方法、装置、存储介质及电子装置制造方法及图纸

本申请实施例提出了一种增强图片的生成方法、装置、存储介质及电子装置，该方法包括：从获取到的多张连续帧图片中确定出目标帧图片，将所述多张连续帧图片中的每一帧图片与所述目标帧图片进行组对，得到多组图片对；将所述多组图片对发送给光流计算单元，并获取所述光流计算单元根据所述多组图片对得到的光流数据；将所述光流数据和所述多张连续帧图片发送给视频对齐单元，以使所述视频对齐单元根据所述光流数据将所述多张连续帧图片与所述目标帧图片进行对齐,以及输出对齐后的多张对齐帧图片。采用上述技术方案，解决了相关技术中低光照下的夜景视频的视频质量较低的技术问题。题。题。

【技术实现步骤摘要】
增强图片的生成方法、装置、存储介质及电子装置


[0001]本申请涉及视频处理
，具体而言，涉及一种增强图片的生成方法、装置、存储介质及电子装置。

技术介绍

[0002]近年来，由于越来越多的摄像设备可以支持夜景拍摄的功能，用户对夜景视频的质量要求也不断提高。相关技术中，对低光照下的夜景视频的处理技术一直是视频处理领域非常重要的一个研究方向，由于夜景环境中缺少光源，会导致恶劣的光照条件，进而发生传感器感光不足的情况。与在光照条件好的情况下所采集的图像或视频相比，在夜景视频中采集到的图像或视频会出现噪声遗留较多，颜色偏色，以及分辨率较低的情形，不仅影响了用户的视觉效果，在一些需要从视频中识别运动目标的场景中，还影响了识别的准确性，因此，需要提升低光照下的夜景视频的质量。
[0003]目前，已经可以通过基于神经网络的自适应视频夜景算法对夜景视频中采集到的图像或视频进行优化从而提高夜景视频的视频质量，这种自适应视频夜景算法属于监督式学习类型的神经网络算法，即训练样本包括输入样本与输出样本，通过梯度下降算法更新上述神经网络算法中的参数，使得训练样本的输入样本经过神经网络算法后的输出结果接近输出样本，从而达到既没有噪声残留，又尽可能地保留视频图像细节的效果。但是这种神经网络算法基本上都是使用raw域类型的图像作为输入样本，使用SRGB域类型的图像作为输出样本，对输入神经网络算法的图片的操作也只是简单的把连续帧的图像叠加在一起输入处理网络，这样的操作往往会导致神经网络算法输出的图像或视频中的运动物体出现拖影的情况。<br/>[0004]针对相关技术，低光照下的夜景视频的视频质量较低的技术问题，目前尚未提出有效的解决方案。
[0005]因此，有必要对相关技术予以改良以克服相关技术中的所述缺陷。

技术实现思路

[0006]本申请实施例提供了一种增强图片的生成方法、装置、存储介质及电子装置，以至少解决低光照下的夜景视频的视频质量较低的技术问题。
[0007]根据本申请实施例的一方面，提供一种增强图片的生成方法，包括：从获取到的多张连续帧图片中确定出目标帧图片，将所述多张连续帧图片中的每一帧图片与所述目标帧图片进行组对，得到多组图片对；将所述多组图片对发送给光流计算单元，并获取所述光流计算单元根据所述多组图片对得到的光流数据，其中，所述光流数据用于指示所述多组图片对中的图片的像素参数；将所述光流数据和所述多张连续帧图片发送给视频对齐单元，以使所述视频对齐单元根据所述光流数据将所述多张连续帧图片与所述目标帧图片进行对齐,以及输出对齐后的多张对齐帧图片，其中，所述多张对齐帧图片用于指示与所述目标帧图片对齐后的多张连续帧图片；根据所述多张对齐帧图片和所述目标帧图片确定多个第
一张量数据,并将所述多个第一张量数据发送给视频恢复单元，以便通过所述视频恢复单元根据所述多个第一张量数据生成增强图片。
[0008]在一个示例性实施例中，在从获取到的多张连续帧图片中确定出目标帧图片，将所述多张连续帧图片中的每一帧图片与所述目标帧图片进行组对，得到多组图片对之前,包括:通过摄像装置获取满足预设条件的视频文件,所述预设条件至少包括以下之一:所述视频文件的时长小于第一阈值；所述视频文件的容量小于第二阈值；所述视频文件的类型为预设类型；逐帧截取所述视频文件，得到截取到的所述多张连续帧图片。
[0009]在一个示例性实施例中，将所述多组图片对发送给光流计算单元，并获取所述光流计算单元根据所述多组图片对得到的光流数据,包括:获取所述多组图片对中的每一组图片对,其中,所述每一组图片对包括所述目标帧图片和所述多张连续帧图片中的一帧图片；将所述每一组图片对分别发送给所述光流计算单元；通过所述光流计算单元确定所述每一组图片对中的图片的像素位置变化参数；其中,所述每一组图片对中的图片的像素位置变化参数用于表示所述目标帧图片和所述每一组图片对中的所述一帧图片之间的像素的位置变化；将所述光流计算单元输出的所述光流数据确定为包括所述每一组图片对中的图片的像素位置变化参数。
[0010]在一个示例性实施例中，根据所述多张对齐帧图片和所述目标帧图片确定多个第一张量数据包括:将所述多张对齐帧图片与所述目标帧图片调整为相同尺寸的多张第一样本图片；根据所述多张第一样本图片的图片数据确定多个所述第一张量数据，其中，每个所述第一张量数据用于以数组形式表示所述多张第一样本图片中对应的第一样本图片的图片数据，每个所述第一张量数据至少包括以下之一：所述对应的第一样本图片的高度、所述对应的第一样本图片的宽度、所述对应的第一样本图片的通道数。
[0011]在一个示例性实施例中，在将所述多个第一张量数据发送给视频恢复单元之后，所述方法还包括:通过所述视频恢复单元根据多个所述第一张量数据，确定多个第二张量数据，并确定多个所述第二张量数据对应的多张第二样本图片的图片数据，其中，每个所述第二张量数据用于以数组形式表示所述多张第二样本图片中对应的第二样本图片的图片数据,所述第二张量数据中的每一第二样本图片的高度、宽度和通道数的乘积与所述第一张量数据中的每一第一样本图片的高度、宽度和通道数的乘积相等；根据所述多个第二张量数据确定所述多张第二样本图片的图片数据；将所述多张第二样本图片的图片数据输入至目标神经网络模型，通过所述目标神经网络模型生成所述增强图片，其中，所述目标神经网络模型用于对输入的图片数据进行增强处理,得到处理结果,并生成所述处理结果对应的图片。
[0012]在一个示例性实施例中，在将所述多个第一张量数据发送给视频恢复单元，以便所述视频恢复单元根据所述第一张量数据生成增强图片之后,所述方法还包括:对所述目标帧图片进行增强处理,得到参考图片；确定所述增强图片和所述参考图片的图片相似度；在所述图片相似度小于预设值的情况下,确定所述增强图片通过校验。
[0013]在一个示例性实施例中，确定所述增强图片和所述参考图片的图片相似度包括:确定第一权重系数和第二权重系数,其中，所述第一权重系数对应于所述增强图片和所述参考图片的像素差值,所述第二权重参数对应于所述增强图片和所述参考图片的结构相似值，所述结构相似值用于指示所述增强图片和所述参考图片的图片结构信息的相似程度；
确定所述增强图片和所述参考图片的像素相似度,以及确定所述增强图片和所述参考图片的结构相似度,其中,所述增强图片和所述参考图片的像素相似度为所述第一权重系数与所述像素差值的乘积,所述增强图片和所述参考图片的结构相似度为所述第二权重参数与所述结构相似值的乘积；获取所述像素相似度和所述结构相似度的和值；根据预设比例关系和所述和值确定所述图片相似度，其中，所述预设比例关系用于指示所述和值与所述图片相似度之间的负相关关系。
[0014]根据本申请实施例的又一方面，还提供了一种增强图片的生成装置，包括：确定模块，用于从获取到的多张连续帧图片中确定出目标帧图片，将所述多张连续帧图片中的每一帧图片与所述目标帧图片进行组对，得到多组图片对；第一发送模块，用于将所述多组图片对发送给光流计算本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种增强图片的生成方法，其特征在于，包括：从获取到的多张连续帧图片中确定出目标帧图片，将所述多张连续帧图片中的每一帧图片与所述目标帧图片进行组对，得到多组图片对；将所述多组图片对发送给光流计算单元，并获取所述光流计算单元根据所述多组图片对得到的光流数据，其中，所述光流数据用于指示所述多组图片对中的图片的像素参数；将所述光流数据和所述多张连续帧图片发送给视频对齐单元，以使所述视频对齐单元根据所述光流数据将所述多张连续帧图片与所述目标帧图片进行对齐,以及输出对齐后的多张对齐帧图片，其中，所述多张对齐帧图片用于指示与所述目标帧图片对齐后的多张连续帧图片；根据所述多张对齐帧图片和所述目标帧图片确定多个第一张量数据,并将所述多个第一张量数据发送给视频恢复单元，以便通过所述视频恢复单元根据所述多个第一张量数据生成增强图片。2.根据权利要求1所述的增强图片的生成方法，其特征在于，在从获取到的多张连续帧图片中确定出目标帧图片，将所述多张连续帧图片中的每一帧图片与所述目标帧图片进行组对，得到多组图片对之前,包括:通过摄像装置获取满足预设条件的视频文件,所述预设条件至少包括以下之一:所述视频文件的时长小于第一阈值；所述视频文件的容量小于第二阈值；所述视频文件的类型为预设类型；逐帧截取所述视频文件，得到截取到的所述多张连续帧图片。3.根据权利要求1所述的增强图片的生成方法，其特征在于，将所述多组图片对发送给光流计算单元，并获取所述光流计算单元根据所述多组图片对得到的光流数据,包括:获取所述多组图片对中的每一组图片对,其中,所述每一组图片对包括所述目标帧图片和所述多张连续帧图片中的一帧图片；将所述每一组图片对分别发送给所述光流计算单元；通过所述光流计算单元确定所述每一组图片对中的图片的像素位置变化参数；其中,所述每一组图片对中的图片的像素位置变化参数用于表示所述目标帧图片和所述每一组图片对中的所述一帧图片之间的像素的位置变化；将所述光流计算单元输出的所述光流数据确定为包括所述每一组图片对中的图片的像素位置变化参数。4.根据权利要求1所述的增强图片的生成方法，其特征在于，根据所述多张对齐帧图片和所述目标帧图片确定多个第一张量数据包括:将所述多张对齐帧图片与所述目标帧图片调整为相同尺寸的多张第一样本图片；根据所述多张第一样本图片的图片数据确定多个所述第一张量数据，其中，每个所述第一张量数据用于以数组形式表示所述多张第一样本图片中对应的第一样本图片的图片数据，每个所述第一张量数据至少包括以下之一：所述对应的第一样本图片的高度、所述对应的第一样本图片的宽度、所述对应的第一样本图片的通道数。5.根据权利要求4所述的增强图片的生成方法，其特征在于，在将所述多个第一张量数据发送给视频恢复单元之后，所述方法还包括:通过所述视频恢复单元根据多个所述第一张量数据，确定多个第二张量数据，并确定
多个所述第二张量数据对应的多张第二样本图片的图片数据，其中，每个所述第二张量数据用于以数组形式表示所述多张第二样本图片中对应的第二样本图片的图片数据,所述第二张量数据...

【专利技术属性】
技术研发人员：艾吉松，徐科，孔德辉，刘欣，游晶，任聪，
申请(专利权)人：深圳市中兴微电子技术有限公司，
类型：发明
国别省市：