【技术实现步骤摘要】
本专利技术涉及图像并行处理，具体是一种机器学习场景下高性能并行文件处理方法及系统。
技术介绍
1、图像处理与机器学习是两个广泛的领域，它们在近年来发展迅速，并且在各个领域得到了广泛的应用。图像处理主要关注于对图像进行处理、分析和理解，而机器学习则关注于为计算机建模，使其能够从数据中自主地学习和做出决策。在图像处理中，机器学习技术可以用于图像分类、检测、分割等任务，而在机器学习中，图像处理技术可以用于数据预处理、特征提取等方面。
2、在现有技术中，采用机器学习得到的模型对图像进行处理时，单个图像的处理时长其实并不短，只是在感观上觉得输入一个图像，就可以得到一个渲染后的图像，看似便捷，其实计算机的工作压力很大，当图像较多时，处理周期很长，如何提高面对较多图像时的图像处理效率是本专利技术技术方案想要解决的技术问题。
技术实现思路
1、本专利技术的目的在于提供一种机器学习场景下高性能并行文件处理方法及系统，以解决上述
技术介绍
中提出的问题。
2、为实现上述目的，本专利技术提供如下技术方案：
3、一种机器学习场景下高性能并行文件处理方法，所述方法包括：
4、实时获取待处理的图像数量，当所述图像数量达到预设的数量阈值时，生成处理备份指令；
5、基于处理备份指令实时获取机器学习模型的输入图像和输出图像，将具有同一名称的图像作为图像对；
6、对于每一个图像对，在输入图像中提取图像特征，获取输出图像和所述输入图像的至少一个调节图层
7、基于图像特征对样本进行聚类，在聚类过程中，对图像特征进行统计，对调节图层进行拟合；
8、创建并行处理进程，在并行处理进程中，基于拟合后的调节图层对图像进行处理。
9、作为本专利技术进一步的方案：所述对于每一个图像对，在输入图像中提取图像特征，获取输出图像和所述输入图像的至少一个调节图层，建立图像特征和调节图层的样本的步骤包括：
10、提取输入图像在不同通道下的图层，计算每个图层的像素差异度，选取像素差异度最小的图层，作为特征图层；
11、将特征图层转换为共生矩阵，基于所述共生矩阵提取图像特征；
12、获取输出图像和输入图像，计算输出图像和输入图像的差异，基于所述差异确定调节方向，基于调节方向随机组合预设数量的调节图层；所述调节图层包括色调图层、对比度图层、亮度图层和饱和度图层；
13、将随机组合的调节图层叠加至输入图像上，得到处理图像；
14、比对处理图像和输出图像的差异，选取差异最小的处理图像对应的调节图层，作为最终的调节图层；
15、建立图像特征和最终的调节图层的样本。
16、作为本专利技术进一步的方案：所述将特征图层转换为共生矩阵，基于所述共生矩阵提取图像特征的过程包括：
17、；
18、式中，为共生矩阵中点的值，为预设的距离，，为预设的角度；的取值包括0、、和；为坐标对的个数；表示行，表示列；表示行差，表示列差；
19、图像特征包括：
20、熵值：；式中，为熵值，和为共生矩阵的行数和列数，是已经确定的共生矩阵中点的值，是的简化表示方式；
21、能量：；式中，为能量，和为共生矩阵的行数和列数；
22、均匀度：；式中，为均匀度，和为共生矩阵的行数和列数。
23、作为本专利技术进一步的方案：比对处理图像和输出图像的差异的过程包括：
24、获取处理图像在不同尺度下的直方图，获取输出图像在不同尺度下的直方图；
25、以输出图像的直方图为目标，基于直方图匹配技术将处理图像的直方图缩放为输出图像的直方图，记录缩放比例，作为差异。
26、作为本专利技术进一步的方案：所述基于图像特征对样本进行聚类，在聚类过程中，对图像特征进行统计，对调节图层进行拟合的步骤包括：
27、比对图像特征，计算图像特征的距离，根据所述距离对样本进行聚类；
28、在聚类过程中，统计图像特征，得到图像特征集；图像特征集中的图像特征为并列关系；
29、读取统计到的每一图像特征对应的调节图层，叠加调节图层中的同类图层，同步计算图层中每一点的均值，得到均值图层，作为该类图像特征的调节图层。
30、作为本专利技术进一步的方案：所述创建并行处理进程，在并行处理进程中，基于拟合后的调节图层对图像进行处理的步骤包括：
31、创建并行处理进程，基于并行处理进程接收待处理图像；
32、基于相同的图像特征提取过程提取并行处理进程接收到的待处理图像的图像特征；
33、计算图像特征与统计到的各类图像特征的距离，当所述距离小于预设的距离阈值时，将对应类图像特征的匹配次数自增一；
34、查询每一类聚类结果的匹配次数，选取最大匹配次数对应的聚类结果中的拟合后的调节图层，对待处理图像进行处理。
35、本专利技术技术方案还提供了一种机器学习场景下高性能并行文件处理系统，所述系统包括：
36、数量判定模块，用于实时获取待处理的图像数量，当所述图像数量达到预设的数量阈值时，生成处理备份指令；
37、图像对构建模块，用于基于处理备份指令实时获取机器学习模型的输入图像和输出图像，将具有同一名称的图像作为图像对；
38、样本生成模块，对于每一个图像对，在输入图像中提取图像特征，获取输出图像和所述输入图像的至少一个调节图层，建立图像特征和调节图层的样本；
39、样本聚类模块，用于基于图像特征对样本进行聚类，在聚类过程中，对图像特征进行统计，对调节图层进行拟合；
40、并行处理模块，用于创建并行处理进程，在并行处理进程中，基于拟合后的调节图层对图像进行处理。
41、作为本专利技术进一步的方案：所述样本生成模块包括：
42、图层选取单元，用于提取输入图像在不同通道下的图层，计算每个图层的像素差异度，选取像素差异度最小的图层，作为特征图层；
43、第一特征提取单元，用于将特征图层转换为共生矩阵，基于所述共生矩阵提取图像特征；
44、图层组合单元，用于获取输出图像和输入图像，计算输出图像和输入图像的差异，基于所述差异确定调节方向，基于调节方向随机组合预设数量的调节图层；所述调节图层包括色调图层、对比度图层、亮度图层和饱和度图层；
45、图层叠加单元，用于将随机组合的调节图层叠加至输入图像上，得到处理图像；
46、差异比对单元，用于比对处理图像和输出图像的差异，选取差异最小的处理图像对应的调节图层，作为最终的调节图层；
47、建立执行单元，用于建立图像特征和最终的调节图层的样本。
48、作为本专利技术进一步的方案：所述样本聚类模块包括：
49、距离计算单元，用于比对图像特征，计算图像特征的距离，根据所述距离对样本进行聚类；...
【技术保护点】
1.一种机器学习场景下高性能并行文件处理方法，其特征在于，所述方法包括：
2.根据权利要求1所述的机器学习场景下高性能并行文件处理方法，其特征在于，所述对于每一个图像对，在输入图像中提取图像特征，获取输出图像和所述输入图像的至少一个调节图层，建立图像特征和调节图层的样本的步骤包括：
3.根据权利要求2所述的机器学习场景下高性能并行文件处理方法，其特征在于，所述将特征图层转换为共生矩阵，基于所述共生矩阵提取图像特征的过程包括：
4.根据权利要求3所述的机器学习场景下高性能并行文件处理方法，其特征在于，比对处理图像和输出图像的差异的过程包括：
5.根据权利要求1所述的机器学习场景下高性能并行文件处理方法，其特征在于，所述基于图像特征对样本进行聚类，在聚类过程中，对图像特征进行统计，对调节图层进行拟合的步骤包括：
6.根据权利要求5所述的机器学习场景下高性能并行文件处理方法，其特征在于，所述创建并行处理进程，在并行处理进程中，基于拟合后的调节图层对图像进行处理的步骤包括：
7.一种机器学习场景下高性能并行文件处理系
8.根据权利要求7所述的机器学习场景下高性能并行文件处理系统，其特征在于，所述样本生成模块包括：
9.根据权利要求7所述的机器学习场景下高性能并行文件处理系统，其特征在于，所述样本聚类模块包括：
10.根据权利要求9所述的机器学习场景下高性能并行文件处理系统，其特征在于，所述并行处理模块包括：
...【技术特征摘要】
1.一种机器学习场景下高性能并行文件处理方法，其特征在于，所述方法包括：
2.根据权利要求1所述的机器学习场景下高性能并行文件处理方法，其特征在于，所述对于每一个图像对，在输入图像中提取图像特征，获取输出图像和所述输入图像的至少一个调节图层，建立图像特征和调节图层的样本的步骤包括：
3.根据权利要求2所述的机器学习场景下高性能并行文件处理方法，其特征在于，所述将特征图层转换为共生矩阵，基于所述共生矩阵提取图像特征的过程包括：
4.根据权利要求3所述的机器学习场景下高性能并行文件处理方法，其特征在于，比对处理图像和输出图像的差异的过程包括：
5.根据权利要求1所述的机器学习场景下高性能并行文件处理方法，其特征在于，所述基于图...
【专利技术属性】
技术研发人员：安江华，
申请(专利权)人：北京蓝耘科技股份有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。