基于YOLOv5深度学习的图像内容检测方法及系统技术方案

本发明专利技术提供一种基于YOLOv5深度学习的图像内容检测方法及系统，该方法包括如下步骤：获取待检测图像数据和预设的模型训练数据集；基于YOLOv5网络结构构建初始识别模型，并通过所述模型训练数据集将所述初始识别模型训练为图像识别模型；根据所述待检测图像数据的数据类型将所述待检测图像数据划分为待检测视频数据和待检测图片数据；从所述待检测视频数据中提取出关键视频帧；将所述关键视频帧和所述待检测图片数据统一进行图片预处理，生成待检测数据集；将所述待检测数据集输入至所述图像识别模型中，并通过所述图像识别模型输出的识别结果为对应的所述待检测图像数据标记检测标签。本发明专利技术具有对视频和图片的内容检测时检测效率高的效果。检测效率高的效果。检测效率高的效果。

【技术实现步骤摘要】
基于YOLOv5深度学习的图像内容检测方法及系统


[0001]本专利技术属于图像检测
，具体是涉及到一种基于YOLOv5深度学习的图像内容检测方法及系统。

技术介绍

[0002]目前，伴随着信息时代的到来和互联网的高速发展，网络已经成为人们生活中不可缺少的一部分。网络的蓬勃发展，在极大地促进信息交流、社会发展的同时，也为一些不法分子提供了可乘之机。不良信息经由网络轻易的渗透到各个网民身边。目前相关技术中，采用分类算法对图片内容进行检测，其流程为将待检测的图片输入检测算法中，算法输出图片为某一种不良内容的阈值，在此基础上可以组合多种分类算法实现对不同种类的不良图片内容进行检测。使用目标检测算法对图片内容进行检测，其流程为使用预选框在图片中框出可能的不良图片内容区域，将预选框输入到分类模型中进行分类。
[0003]无论是使用单一的分类算法加以组合形成多分类的能力还是使用目标检测算法，现有的检测方法仅能对图片内容进行检测，若需要检测的内容为视频内容时，则只能进行人工检测或是人工从视频内容中抽取视频帧作为待检测的图片内容，再采用目标检测算法进行内容检测。因此，当需要检测的内容大多为视频内容时，现有方法在检测速度上难以满足实时性的要求，检测效率较低。

技术实现思路

[0004]本专利技术提供一种基于YOLOv5深度学习的图像内容检测方法及系统，以解决当需要检测的内容大多为视频内容时，现有方法在检测速度上难以满足实时性的要求，检测效率较低的问题。
[0005]第一方面，本专利技术提供一种基于YOLOv5深度学习的图像内容检测方法，该方法包括如下步骤：获取待检测图像数据和预设的模型训练数据集；基于YOLOv5网络结构构建初始识别模型，并通过所述模型训练数据集将所述初始识别模型训练为图像识别模型；根据所述待检测图像数据的数据类型将所述待检测图像数据划分为待检测视频数据和待检测图片数据；通过关键帧抽取技术从所述待检测视频数据中提取出关键视频帧；将所述关键视频帧和所述待检测图片数据统一进行图片预处理，生成待检测数据集；将所述待检测数据集输入至所述图像识别模型中，并通过所述图像识别模型输出的识别结果为对应的所述待检测图像数据标记检测标签。
[0006]可选的，所述通过关键帧抽取技术从所述待检测视频数据中提取出关键视频帧包括如下步骤：
判断所述待检测视频数据的视频时长是否超出预设的时长阈值；若所述视频时长未超出所述时长阈值，则基于所述待检测视频数据的时间轴并按照预设的时间间隔抽取多个视频帧作为关键视频帧；若所述视频时长超出所述时长阈值，则通过关键帧抽取技术从所述待检测视频数据中抽取静态视频帧和动态视频帧作为关键视频帧。
[0007]可选的，所述通过关键帧抽取技术从所述待检测视频数据中抽取静态视频帧和动态视频帧作为关键视频帧包括如下步骤：根据所述视频时长选取视频分割间隔，并基于所述视频分割间隔将所述待检测视频数据分割为多个待检测视频流；基于角点检测算法从所述待检测视频流中提取出静态视频流；将所述待检测视频流中的剩余视频流整合为动态视频流；统计所述静态视频流中的视频帧数，并根据所述视频帧数确定关键帧抽取间隔；根据所述关键帧抽取间隔从所述静态视频流中抽取若干个静态视频帧；通过关键帧抽取技术从所述动态视频流中抽取若干个动态视频帧；将若干个所述静态视频帧和若干个所述动态视频帧整合为关键视频帧。
[0008]可选的，所述基于角点检测算法从所述待检测视频流中提取出静态视频流包括如下步骤：利用角点检测算法从所述待检测视频流的视频流首帧中提取特征点；获取所述视频流首帧的图像尺寸，并基于所述图像尺寸确定所述特征点在所述视频流首帧中的特征点坐标；基于所述特征点在所述待检测视频流中随时间轴的运动，并结合所述特征点坐标和所述图像尺寸生成所述特征点的三维视频流轨迹图，所述三维视频流轨迹图的坐标轴分别为图像横坐标轴、图像纵坐标轴和视频流时间轴；以所述视频流时间轴为基准截取所述三维视频流轨迹图中直线轨迹所对应的静态时间段；基于所述静态时间段从所述待检测视频流中提取出静态视频流。
[0009]可选的，所述通过关键帧抽取技术从所述动态视频流中抽取若干个动态视频帧包括如下步骤：通过图像质量评估算法评估所述动态视频流中的所有视频帧，并根据评估结果筛选出候选视频帧；通过图像像素分析法计算所有所述候选视频帧的平均图像复杂度；判断所述平均图像复杂度是否超出预设的复杂度阈值；若所述平均图像复杂度未超出所述复杂度阈值，则基于所述候选视频帧并采用帧差法从所有所述候选视频帧中筛选出若干个动态视频帧；若所述平均图像复杂度超出所述复杂度阈值，则基于特征描述符从所述候选视频帧中提取动态特征点；对所述动态特征点在对应所述候选视频帧中的周围图像区域进行特征描述，生成特征向量；将所有所述候选视频帧所对应的所有所述特征向量进行特征匹配计算，得到特征
匹配结果；通过光流估计算法计算所述动态特征点在对应所述候选视频帧的相邻帧之间的位移向量，并根据所述位移向量计算出所述候选视频帧与相邻帧之间的运动差异值；结合所述特征匹配结果和所述运动差异值从所有所述候选视频帧中选取出若干个动态视频帧。
[0010]可选的，所述通过图像像素分析法计算所有所述候选视频帧的平均图像复杂度包括如下步骤：将所述候选视频帧灰度化，并对灰度化后的所述候选视频帧分块处理，得到多个视频图像块；基于所述视频图像块内所有像素的像素值计算像素值方差；通过边缘检测算法计算所述视频图像块的边缘数量，并通过纹理特征提取算法计算所述视频图像块的纹理复杂度；结合所述像素值方差、所述边缘数量和所述纹理复杂度综合计算得到对应所述视频图像块的图像块复杂度；将所述候选视频帧中所有所述视频图像块的图像块复杂度平均值作为所述候选视频帧的图像复杂度，并将所有所述候选视频帧的图像复杂度平均值作为平均图像复杂度。
[0011]可选的，所述通过光流估计算法计算所述动态特征点在对应所述候选视频帧的相邻帧之间的位移向量，并根据所述位移向量计算出所述候选视频帧与相邻帧之间的运动差异值包括如下步骤：计算所述动态特征点在对应所述候选视频帧的相邻帧之间的位移向量；根据所述位移向量估算对应所述候选视频帧中所有像素点的光流向量；基于所述光流向量计算对应所述候选视频帧中所有像素点的像素移动距离；将所有所述像素移动距离的平均值作为所述候选视频帧与相邻帧之间的运动差异值。
[0012]可选的，所述基于所述候选视频帧并采用帧差法从所有所述候选视频帧中筛选出若干个动态视频帧包括如下步骤：将所有所述候选视频帧以及所述候选视频帧的相邻帧进行灰度化处理；结合灰度化后的所述候选视频帧和对应的相邻帧进行帧差计算，得到所有所述候选视频帧对应的帧差图像；将所有所述帧差图像二值化处理为二值化图像；通过对所述二值化图像进行连通区域分析，检测出所述二值化图像中的运动目标；统计所述运动目标在所述候选视频帧中的像素占比；将所有所述像素占比超出预设占比阈值的所述候选视频帧选取为动态视频帧。
[0013]可选的，所述将所述关键视频帧和所述待检测图片数据统一进行图本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于YOLOv5深度学习的图像内容检测方法，其特征在于，包括如下步骤：获取待检测图像数据和预设的模型训练数据集；基于YOLOv5网络结构构建初始识别模型，并通过所述模型训练数据集将所述初始识别模型训练为图像识别模型；根据所述待检测图像数据的数据类型将所述待检测图像数据划分为待检测视频数据和待检测图片数据；通过关键帧抽取技术从所述待检测视频数据中提取出关键视频帧；将所述关键视频帧和所述待检测图片数据统一进行图片预处理，生成待检测数据集；将所述待检测数据集输入至所述图像识别模型中，并通过所述图像识别模型输出的识别结果为对应的所述待检测图像数据标记检测标签。2.根据权利要求1所述的基于YOLOv5深度学习的图像内容检测方法，其特征在于，所述通过关键帧抽取技术从所述待检测视频数据中提取出关键视频帧包括如下步骤：判断所述待检测视频数据的视频时长是否超出预设的时长阈值；若所述视频时长未超出所述时长阈值，则基于所述待检测视频数据的时间轴并按照预设的时间间隔抽取多个视频帧作为关键视频帧；若所述视频时长超出所述时长阈值，则通过关键帧抽取技术从所述待检测视频数据中抽取静态视频帧和动态视频帧作为关键视频帧。3.根据权利要求2所述的基于YOLOv5深度学习的图像内容检测方法，其特征在于，所述通过关键帧抽取技术从所述待检测视频数据中抽取静态视频帧和动态视频帧作为关键视频帧包括如下步骤：根据所述视频时长选取视频分割间隔，并基于所述视频分割间隔将所述待检测视频数据分割为多个待检测视频流；基于角点检测算法从所述待检测视频流中提取出静态视频流；将所述待检测视频流中的剩余视频流整合为动态视频流；统计所述静态视频流中的视频帧数，并根据所述视频帧数确定关键帧抽取间隔；根据所述关键帧抽取间隔从所述静态视频流中抽取若干个静态视频帧；通过关键帧抽取技术从所述动态视频流中抽取若干个动态视频帧；将若干个所述静态视频帧和若干个所述动态视频帧整合为关键视频帧。4.根据权利要求3所述的基于YOLOv5深度学习的图像内容检测方法，其特征在于，所述基于角点检测算法从所述待检测视频流中提取出静态视频流包括如下步骤：利用角点检测算法从所述待检测视频流的视频流首帧中提取特征点；获取所述视频流首帧的图像尺寸，并基于所述图像尺寸确定所述特征点在所述视频流首帧中的特征点坐标；基于所述特征点在所述待检测视频流中随时间轴的运动，并结合所述特征点坐标和所述图像尺寸生成所述特征点的三维视频流轨迹图，所述三维视频流轨迹图的坐标轴分别为图像横坐标轴、图像纵坐标轴和视频流时间轴；以所述视频流时间轴为基准截取所述三维视频流轨迹图中直线轨迹所对应的静态时间段；基于所述静态时间段从所述待检测视频流中提取出静态视频流。
5.根据权利要求3所述的基于YOLOv5深度学习的图像内容检测方法，其特征在于，所述通过关键帧抽取技术从所述动态视频流中抽取若干个动态视频帧包括如下步骤：通过图像质量评估算法评估所述动态视频流中的所有视频帧，并根据评估结果筛选出候选视频帧；通过图像像素分析法计算所有所述候选视频帧的平均图像复杂度；判断所述平均图像复杂度是否超出预设的复杂度阈值；若所述平均图像复杂度未超出所述复杂度阈值，则基于所述候选视频帧并采用帧差法从所有所述候选视频帧中筛选出若干个动态视频帧；若所述平均图像复杂度超出所述复杂度阈值，...

【专利技术属性】
技术研发人员：戴亦斌，
申请(专利权)人：武汉博特智能科技有限公司，
类型：发明
国别省市：