一种基于模型融合和数据增强的低质图像分类增强方法技术

本发明专利技术涉及一种基于模型融合和数据增强的低质图像分类增强方法，包括以下步骤：S1：建立图像集；S2：对图像集中进行数据增强；S3：构建并训练VGG16卷积神经网络模型；S4：构建并训练ResNet卷积神经网络模型；S5：输入待分类图像；S6：获取待分类图像的第一概率向量、第二概率向量；S7：获取融合概率向量，并获取待分类图像的图像类别，若图像类型为清晰，进入步骤S9，否则进入步骤S8；S8：对待分类图像进行增强，获取增强图像，并将增强图像作为待分类图像输入步骤S6；S9：输出图像。与现有技术相比，同时采用数据增强以及模型融合两种方式来提升分类的准确率，能够有效地对图像分类，增强效果好。

【技术实现步骤摘要】
一种基于模型融合和数据增强的低质图像分类增强方法
本专利技术涉及低质图像分类增强方法，尤其是涉及一种基于模型融合和数据增强的低质图像分类增强方法。
技术介绍
相机在拍照时通常会因为光照环境较差或者自身不稳定等因素拍摄到低质图像，这类低质图像上会存在阴影、亮度低或者画面模糊的情况，导致图像细节丢失，难以对图像进行后续的识别分析等操作，处理这类图像通常的方式是采用图像增强的方法来提高低质图像的对比度，放大细节信息。在中国专利CN201610079472.X公开的一种极端天气条件下低质图像增强方法中，等提出了一种根据色度分量值区分雾霾图像和雨雪图像的分类增强方法。该方法采用纯物理学算法，能够区分的图像类别少且鲁棒性差，极容易出现误判等情况。在中国专利CN201811484514.3公开的一种恶劣天气下的成像识别方法及系统中，提出了一种对采集到的恶劣天气下的低质图像进行增强后再识别的方法，使用电子稳像算法消除图像的运动模糊或者用自适应图像去雾算法消除图像的云烟雾干扰，然后使用VGG16卷积神经网络对图像进行识别分类。但是该专利技术并未提及如何分辨采集到的图像是否为低质图像，且只采用一种增强算法对所有类别的低质图像进行增强处理，增强效果一般。
技术实现思路
本专利技术的目的就是为了克服上述现有技术存在的缺陷而提供一种基于模型融合和数据增强的低质图像分类增强方法。本专利技术的目的可以通过以下技术方案来实现：一种基于模型融合和数据增强的低质图像分类增强方法，包括以下步骤：S1：建立图像集，图像集中包括清晰图像、模糊图像和低亮度图像；S2：对图像集中的图像进行数据增强；S3：构建VGG16卷积神经网络模型，通过图像集训练VGG16卷积神经网络模型；S4：构建ResNet卷积神经网络模型，通过图像集训练ResNet卷积神经网络模型；S5：输入待分类图像；S6：将待分类图像输入VGG16卷积神经网络模型，获取待分类图像的第一概率向量，将待分类图像输入ResNet卷积神经网络模型，获取待分类图像的第二概率向量；S7：融合第一概率向量和第二概率向量，得到融合概率向量，并获取待分类图像的图像类别，若图像类型为清晰，进入步骤S9，否则进入步骤S8；S8：选取与图像类型对应的图像增强算法对待分类图像进行增强，获取增强图像，并将增强图像作为待分类图像输入步骤S6；S9：输出图像。优选地，所述的第一概率向量为：[λa1，λa2，λa3]其中，λa1，λa2，λa3分别为VGG16卷积神经网络模型中获取的图像分别为清晰图像、模糊图像和低亮度图像的概率，所述的第二概率向量为：[λb1，λb2，λb3]其中，λb1，λb2，λb3分别为ResNet卷积神经网络模型中获取的图像分别为清晰图像、模糊图像和低亮度图像的概率，所述的融合概率向量为：[λa1+λb1，λa2+λb2，λa3+λb3]所述的融合概率向量中的最大值代表的图像类型为待分类图像的图像类型。优选地，所述的VGG16卷积神经网络模型的分类器包含两个全连接层，其中第二个全连接层采用Softmax激活函数，并且第二个全连接层将由第一个全连接层的输入值映射到区间(0，1)之间，获取第一概率向量。优选地，所述的ResNet卷积神经网络模型的分类器包含两个全连接层，其中第二个全连接层采用Softmax激活函数，并且第二个全连接层将由第一个全连接层的输入值映射到区间(0，1)之间，获取第二概率向量。优选地，所述的数据增强为对图像数据随机进行翻转、旋转、缩放、裁剪、移位、添加噪声和修改对比度中的一个或多个操作。优选地，所述的步骤S2中数据增强为对图像数据进行水平旋转、竖直旋转，所述的步骤S2具体为：S21：取图像的左下角顶点为原点O，建立xyz空间坐标系，所述图像的大小为a×b，所述的图像与xy平面重合；S22：随机判定对图像进行水平旋转或不进行水平旋转，水平旋转或不水平旋转的概率均为0.5，若水平旋转，以(x＝a/2,z＝0)为转轴旋转图像180°，否则进入步骤S22；S23：随机判定对图像进行竖直旋转或不进行竖直旋转，竖直旋转或不竖直旋转的概率均为0.5，若竖直旋转，以(y＝b/2,z＝0)为转轴旋转图像180°，完成数据增强，否则不进行竖直旋转，完成数据增强。优选地，当图像的增强次数大于最大增强次数后，输出图像：S5：输入待分类图像，设定增强次数p＝0；S6：将待分类图像输入VGG16卷积神经网络模型，获取待分类图像的第一概率向量，将待分类图像输入ResNet卷积神经网络模型，获取待分类图像的第二概率向量；S7：融合第一概率向量和第二概率向量，得到融合概率向量，并获取待分类图像的图像类别，若图像类型为清晰，进入步骤S9，否则进入步骤S8；S8：选取与图像类型对应的图像增强算法对待分类图像进行增强，获取增强图像，设定增强次数p＝p+1，若p大于等于最大增强次数，进入步骤S9，否则将增强图像作为待分类图像输入步骤S6；S9：输出图像。优选地，所述的VGG16卷积神经网络模型包含13个卷积层、3个全连接层和5个池化层。优选地，所述的S8中采用基于GAN进行盲运动模糊移除算法对图像类型为模糊图像的图像进行增强处理。优选地，所述的S8中采用基于相机相应模型的低亮度图片增强算法对图像类型为低亮度图像的图像进行增强处理。与现有技术相比，本专利技术具有如下优点：(1)与现有技术相比，本专利技术采用卷积神经网络进行图片的类别划分，相比传统的基于物理学的分类器其准确率要更高，同时采用数据增强以及模型融合两种方式来提升分类的准确率；(2)本专利技术集成了专用于对模糊和低亮度两类图像进行增强的两类算法，能够有效地分类并还原图像的细节信息；(3)为了防止一张图像上存在两类情况，本方法设定最大增强次数，对图像进行多次分类增强，实现最大程度的增强效果；(4)利用随机图像数据增强的方式，对图像数据进行水平旋转、竖直旋转的数据增强，有效提高分类的准确率。附图说明图1为本专利技术的流程图；图2为本专利技术的一种实施方式的流程图；图3为VGG16模型的结构图；图4为VGG16模型的块结构图；图5为残差单元的结构图；图6为ResNet模型的结构图；图7为DeblurGAN模型的结构图。具体实施方式下面结合附图和具体实施例对本专利技术进行详细说明。注意，以下的实施方式的说明只是实质上的例示，本专利技术并不意在对其适用物或其用途进行限定，且本专利技术并不限定于以下的实施方式。实施例一种基于模型融合和数据增强的低质图像分类增强方法，如图1所示，包括以下步骤：S1：建立图像集。在本实施例的图像集中，图像集中包括清晰图像、模糊图像和低亮度图像三类图本文档来自技高网...

【技术保护点】
1.一种基于模型融合和数据增强的低质图像分类增强方法，其特征在于，包括以下步骤：/nS1：建立图像集，图像集中包括清晰图像、模糊图像和低亮度图像；/nS2：对图像集中的图像进行数据增强；/nS3：构建VGG16卷积神经网络模型，通过图像集训练VGG16卷积神经网络模型；/nS4：构建ResNet卷积神经网络模型，通过图像集训练ResNet卷积神经网络模型；/nS5：输入待分类图像；/nS6：将待分类图像输入VGG16卷积神经网络模型，获取待分类图像的第一概率向量，将待分类图像输入ResNet卷积神经网络模型，获取待分类图像的第二概率向量；/nS7：融合第一概率向量和第二概率向量，得到融合概率向量，并获取待分类图像的图像类别，若图像类型为清晰，进入步骤S9，否则进入步骤S8；/nS8：选取与图像类型对应的图像增强算法对待分类图像进行增强，获取增强图像，并将增强图像作为待分类图像输入步骤S6；/nS9：输出图像。/n

【技术特征摘要】
1.一种基于模型融合和数据增强的低质图像分类增强方法，其特征在于，包括以下步骤：
S1：建立图像集，图像集中包括清晰图像、模糊图像和低亮度图像；
S2：对图像集中的图像进行数据增强；
S3：构建VGG16卷积神经网络模型，通过图像集训练VGG16卷积神经网络模型；
S4：构建ResNet卷积神经网络模型，通过图像集训练ResNet卷积神经网络模型；
S5：输入待分类图像；
S6：将待分类图像输入VGG16卷积神经网络模型，获取待分类图像的第一概率向量，将待分类图像输入ResNet卷积神经网络模型，获取待分类图像的第二概率向量；
S7：融合第一概率向量和第二概率向量，得到融合概率向量，并获取待分类图像的图像类别，若图像类型为清晰，进入步骤S9，否则进入步骤S8；
S8：选取与图像类型对应的图像增强算法对待分类图像进行增强，获取增强图像，并将增强图像作为待分类图像输入步骤S6；
S9：输出图像。


2.根据权利要求1所述的一种基于模型融合和数据增强的低质图像分类增强方法，其特征在于，所述的第一概率向量为：
[λa1，λa2，λa3]
其中，λa1，λa2，λa3分别为VGG16卷积神经网络模型中获取的图像分别为清晰图像、模糊图像和低亮度图像的概率，
所述的第二概率向量为：
[λb1，λb2，λb3]
其中，λb1，λb2，λb3分别为ResNet卷积神经网络模型中获取的图像分别为清晰图像、模糊图像和低亮度图像的概率，
所述的融合概率向量为：
[λa1+λb1，λa2+λb2，λa3+λb3]
所述的融合概率向量中的最大值代表的图像类型为待分类图像的图像类型。


3.根据权利要求1所述的一种基于模型融合和数据增强的低质图像分类增强方法，其特征在于，所述的VGG16卷积神经网络模型的分类器包含两个全连接层，其中第二个全连接层采用Softmax激活函数，并且第二个全连接层将由第一个全连接层的输入值映射到区间(0，1)之间，获取第一概率向量。


4.根据权利要求1所述的一种基于模型融合和数据增强的低质图像分类增强方法，其特征在于，所述的ResNet卷积神经网络模型的分类器包含两个全连接层，其中第二个全连接层采用Softmax激活函数，并且第二个全连接层将由第一个全连接层的输入值映射到区间(0，1)之间，获取第二概率向量。


5.根据权利要求1所述的一种基于模型...

【专利技术属性】
技术研发人员：王道累，张天宇，朱瑞，孙嘉珺，李明山，李超，韩清鹏，袁斌霞，
申请(专利权)人：上海电力大学，
类型：发明
国别省市：上海;31