图像质量评分方法、装置、系统、存储介质和电子设备制造方法及图纸

本申请公开了一种图像质量评分方法，包括：将待评分的原始图像和对应于每个当前业务类型的标签，输入预先训练好的状态识别模型，标记与所述每个当前业务类型相关的图像区域，并基于图像区域进行特征提取，得到与每个当前业务类型对应的第一状态特征向量；对于每个第一状态特征向量，计算该第一状态特征向量分别与相应当前业务类型对应的R*P个标准图像的状态特征向量的相似度，得到R*P个相似度结果；对于每个第一状态特征向量，基于所述R*P个相似度结果，确定待评分的原始图像在相应当前业务类型下的质量评分结果。应用本申请，能够对应不同的业务类型，有针对性地进行合理的图像质量判断，使质量判断结果更加精准。使质量判断结果更加精准。使质量判断结果更加精准。

【技术实现步骤摘要】
图像质量评分方法、装置、系统、存储介质和电子设备


[0001]本申请涉及图像处理技术，特别涉及用于进行状态识别的图像的质量评分方法、装置、系统、存储介质和电子设备。

技术介绍

[0002]随着图像处理技术的进步，利用图像进行状态识别的技术得到了越来越广泛的应用。
[0003]当图像质量较差时，会影响状态识别系统的性能，导致状态识别错误。例如，驾驶室违法行为判断是一种典型的利用图像进行状态识别的应用。当采集的驾驶室图像质量较差时，会影响驾驶室违法行为判断模型的性能，导致违法行为误报，需大量人力进行复核，降低收益。基于此，希望在状态识别处理之前引入质量评分的处理，过滤掉质量较差的图像，提升状态识别的精准率。

技术实现思路

[0004]本申请提供用于状态识别的图像的质量评分方法、装置、系统、存储介质和电子设备，能够针对不同的业务类型，合理进行图像质量评分，进而提升状态识别的精准率。
[0005]为实现上述目的，本申请采用如下技术方案：
[0006]本申请提供一种图像质量评分方法，包括：
[0007]将待评分的原始图像和对应于每个当前业务类型的标签，输入预先训练好的状态识别模型，标记与所述每个当前业务类型相关的图像区域，并基于所述图像区域进行特征提取，得到与所述每个当前业务类型对应的第一状态特征向量；
[0008]对于每个所述第一状态特征向量，计算该第一状态特征向量分别与相应当前业务类型对应的R*P个标准图像的状态特征向量的相似度，得到R*P个相似度结果；
[0009]对于每个所述第一状态特征向量，基于所述R*P个相似度结果，确定所述待评分的原始图像在相应当前业务类型下的质量评分结果；
[0010]其中，所述标准图像的状态特征向量为：标准图像和相应当前业务类型的标签输入所述状态识别模型进行特征提取后得到的状态特征向量；R*P个标准图像是对应于相应当前业务类型的各种状态设置的可无歧义辨别状态类别的典型图像，所述R为相应当前业务类型下所有状态类别的总数，所述P为正整数。
[0011]较佳地，所述状态识别模型包括用于进行语义分割的第一层级网络和用于进行状态识别的第二层级网络；
[0012]所述第一层级网络的输入为所述待评分的原始图像和所述标签，输出为对应于每个所述标签的语义特征图，用于标记与所述每个当前业务类型相关的图像区域；
[0013]所述第二层级网络包括与M个业务类型一一对应的M个子网络；其中，所述M为所有业务类型的总数；
[0014]每个所述子网络的输入为所述待评分的原始图像和与该子网络对应的第一当前
业务类型的各标签相应的、修正后的语义特征图，每个所述子网络将所述待评分的原始图像和所述修正后的语义特征图在通道维度上进行连接，并将连接后的图像输入分类网络进行状态识别，得到与所述第一当前业务类型对应的所述第一状态特征向量；其中，所述修正后的语义特征图为上采样到与所述待评分的原始图像大小相同的语义特征图。
[0015]较佳地，所述将连接后的图像输入分类网络进行状态识别，包括：
[0016]将连接后的图像划分为若干二维切片patch，在每个所述二维切片中加入该二维切片对应的二维位置信息；
[0017]将所有加入二维位置信息后的二维切片输入分类网络进行状态识别；
[0018]其中，通过对所述状态识别模型的训练，保证位于所述当前业务类型相关的图像区域中的二维切片对应的二维位置信息权重大于位于所述当前业务类型相关的图像区域外的二维切片对应的二维位置信息权重。
[0019]较佳地，在所述分类网络中加入注意力机制，为输入所述分类网络的每个像素分配权重，且位于所述当前业务类型相关的图像区域中像素的权重大于位于所述当前业务类型相关的图像区域外像素的权重。
[0020]较佳地，在训练所述状态识别模型时，利用训练样本图像完成所述第一层级网络的训练，基于训练好的所述第一层级网络，对所述第二层级网络进行训练；或者，
[0021]在训练所述状态识别模型时，对所述第一层级网络和所述第二层级网络进行联合训练；或者，
[0022]在训练所述状态识别模型时，利用训练样本图像对所述第一层级网络进行初始训练，基于初始训练后得到的所述第一层级网络，对所述第二层级网络进行初始训练；在所述第二层级网络进行初始训练后，对所述第一层级网络和所述第二层级网络进行联合训练；
[0023]其中，在进行所述联合训练时，损失函数为所述第一层级网络的第一损失函数与所述第二层级网络的第二损失函数的加权和。
[0024]较佳地，在进行所述联合训练时，基于所有输入标签的损失权重计算每个输入业务类型对应的所述第一损失函数；其中，所述输入业务类型为输入标签所属的业务类型；
[0025]在计算任一输入业务类型对应的所述第一损失函数时，所述任一输入业务类型的输入标签的损失权重大于不属于所述任一输入业务类型的输入标签的损失权重。
[0026]较佳地，所述第一损失函数为dice损失函数，所述第二损失函数为focal损失函数。
[0027]较佳地，所述每个当前业务类型下每个状态类别包括P个标准图像，所述P个标准图像包括不同场景亮度、不同拍摄角度和/或所述每个状态类别下不同姿态的原始图像。
[0028]较佳地，所述确定所述待评分的原始图像在相应测试业务类型下的质量评分结果，包括：
[0029]对所述R*P个相似度结果计算加权均值，将计算结果作为所述待评分的原始图像在相应当前业务类型下的质量评分结果。
[0030]本申请还提供一种图像质量评分方法，包括：
[0031]将待评分的原始图像和每个当前业务类型的标识，输入预先训练好的质量评分回归模型，得到所述待评分的原始图像在所述每个当前业务类型下的质量评分结果；
[0032]其中，所述质量评分回归模型是利用测试样本图像、每个测试业务类型的标识以
及测试样本图像在所述每个测试业务类型下的质量评分结果训练得到的神经网络模型；
[0033]所述测试样本图像在所述每个测试业务类型下的质量评分结果的确定过程包括：
[0034]将所述测试样本图像和对应于所述每个测试业务类型的标签，输入预先训练好的状态识别模型，标记与所述每个测试业务类型相关的图像区域，并基于所述图像区域进行特征提取，得到与所述每个测试业务类型对应的第一状态特征向量；
[0035]对于每个所述第一状态特征向量，计算该第一状态特征向量分别与相应测试业务类型对应的R*P个标准图像的状态特征向量的相似度，得到R*P个相似度结果；
[0036]对于每个所述第一状态特征向量，基于所述R*P个相似度结果，确定所述测试样本图像在相应测试业务类型下的质量评分结果；
[0037]其中，所述标准图像的状态特征向量为：标准图像和相应测试业务类型的标签输入所述状态识别模型进行特征提取后得到的状态特征向量；R*P个标准图像是对应于相应测试业务类型的各种状态设置的可无歧义本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种图像质量评分方法，其特征在于，包括：将待评分的原始图像和对应于每个当前业务类型的标签，输入预先训练好的状态识别模型，标记与所述每个当前业务类型相关的图像区域，并基于所述图像区域进行特征提取，得到与所述每个当前业务类型对应的第一状态特征向量；对于每个所述第一状态特征向量，计算该第一状态特征向量分别与相应当前业务类型对应的R*P个标准图像的状态特征向量的相似度，得到R*P个相似度结果；对于每个所述第一状态特征向量，基于所述R*P个相似度结果，确定所述待评分的原始图像在相应当前业务类型下的质量评分结果；其中，所述标准图像的状态特征向量为：标准图像和相应当前业务类型的标签输入所述状态识别模型进行特征提取后得到的状态特征向量；R*P个标准图像是对应于相应当前业务类型的各种状态设置的可无歧义辨别状态类别的典型图像，所述R为相应当前业务类型下所有状态类别的总数，所述P为正整数。2.根据权利要求1所述的方法，其特征在于，所述状态识别模型包括用于进行语义分割的第一层级网络和用于进行状态识别的第二层级网络；所述第一层级网络的输入为所述待评分的原始图像和所述标签，输出为对应于每个所述标签的语义特征图，用于标记与所述每个当前业务类型相关的图像区域；所述第二层级网络包括与M个业务类型一一对应的M个子网络；其中，所述M为所有业务类型的总数；每个所述子网络的输入为所述待评分的原始图像和与该子网络对应的第一当前业务类型的各标签相应的、修正后的语义特征图，每个所述子网络将所述待评分的原始图像和所述修正后的语义特征图在通道维度上进行连接，并将连接后的图像输入分类网络进行状态识别，得到与所述第一当前业务类型对应的所述第一状态特征向量；其中，所述修正后的语义特征图为上采样到与所述待评分的原始图像大小相同的语义特征图。3.根据权利要求2所述的方法，其特征在于，所述将连接后的图像输入分类网络进行状态识别，包括：将连接后的图像划分为若干二维切片patch，在每个所述二维切片中加入该二维切片对应的二维位置信息；将所有加入二维位置信息后的二维切片输入分类网络进行状态识别；其中，通过对所述状态识别模型的训练，保证位于所述当前业务类型相关的图像区域中的二维切片对应的二维位置信息权重大于位于所述当前业务类型相关的图像区域外的二维切片对应的二维位置信息权重。4.根据权利要求2或3所述的方法，其特征在于，在所述分类网络中加入注意力机制，为输入所述分类网络的每个像素分配权重，且位于所述当前业务类型相关的图像区域中像素的权重大于位于所述当前业务类型相关的图像区域外像素的权重。5.根据权利要求2所述的方法，其特征在于，在训练所述状态识别模型时，利用训练样本图像完成所述第一层级网络的训练，基于训练好的所述第一层级网络，对所述第二层级网络进行训练；或者，在训练所述状态识别模型时，对所述第一层级网络和所述第二层级网络进行联合训练；或者，
在训练所述状态识别模型时，利用训练样本图像对所述第一层级网络进行初始训练，基于初始训练后得到的所述第一层级网络，对所述第二层级网络进行初始训练；在所述第二层级网络进行初始训练后，对所述第一层级网络和所述第二层级网络进行联合训练；其中，在进行所述联合训练时，损失函数为所述第一层级网络的第一损失函数与所述第二层级网络的第二损失函数的加权和。6.根据权利要求5所述的方法，其特征在于，在进行所述联合训练时，基于所有输入标签的损失权重计算每个输入业务类型对应的所述第一损失函数；其中，所述输入业务类型为输入标签所属的业务类型；在计算任一输入业务类型对应的所述第一损失函数时，所述任一输入业务类型的输入标签的损失权重大于不属于所述任一输入业务类型的输入标签的损失权重。7.根据权利要求5或6所述的方法，其特征在于，所述第一损失函数为dice损失函数，所述第二损失函数为focal损失函数。8.根据权利要求1所述的方法，其特征在于，所述每个当前业务类型下每个状态类别包括P个标准图像，所述P个标准图像包括不同场景亮度、不同拍摄角度和/或所述每个状态类别下不同姿态的原始图像。9.根据权利要求1所述的方法，其特征在于，所述确定所述待评分的原始图像在相应测试业务类型下的质量评分结果，包括：对所述R*P个相似度结果计算加权均值，将计算结果作为所述待评分的原始图像在相应当前业务类型下的质量评分结果。10.一种图像质量评分方法，其特征在于，包括：将待评分的原始图像和每个当前业务类型的标识，输入预先训练好的质量评分回归模型，得到所述待评分的原始图像在所述每个当前业务类型下的质量评分结果；其中，所述质量评分回归模型是利用测试样本图像、每个测试业务类型的标识以及测试样本图像在所述每个测试业务类型下的质量评分结果训练得到的神经网络模型；所述测试样本图像在所述每个测试业务类型下的质量评分结果的确定过程包括：将所述测试样本图像和对应于所述每个测试业务类型的标签，输入预先训练好的状态识别模型，标记与所述每个测试业务类型相关的图像区域，并基于所述图像区域进行特征提取，得到与所述每个测试业务类型对应的第一状态特征向量；对于每个所述第一状态特征向量，计算该第一状态特征向量分别与相应测试业务类型对应的R*P个标准图像的状态特征向量的相似度，得到R*P个相似度结果；对于每个所述第一状态特征向量，基于所述R*P个相似度结果，确定所述测试样本图像在相应测试业务类型下的质量评分结果；其中，所述标准图像的状态特征向量为：标准图像和相应测试业务类型的标签输入所述状态识别模型进行特征提取后得到的状态特征向量；R*P个标准图像是对应于相应测试业务类型的各种状态设置的可无歧义辨别状态类别的典型图像，所述R为相应测试业务类型下所有状态类别的总数，所述P为正整数。11.一种图像质量评分装置，其特征在于，包括：状态识别单元和评分单元；所述状态识别单元，用于将待评分的原始图像和对应于每个当前业务类型的标签，输入预先训练好的状态识别模型，标记与所述每个当前业务类型相关的图像区域，并基于所
述图像区域进行特征提取，得到与所述每个当前业务类型对应的第一状态特征向量；所述评分单元，用于对于每个所述第一状态特征向量，计算该第一状态特征向量分别与相应测试业务类型对应的R*P个标准图像的状态特征向量的相似度，得到R*P个相似度结果；还用于对于每个所述第一状态特征向量，基于所述R*P个相似度结果，确定所述待评分的原始图像在相应当前业务类型下的质量评分结果；其中，所述标准图像的状态特征向量为：标准图像和相应当前业务类型的标签输入所述状态识别模型进行特征提取后得到的状态特征向量；R*P个标准图像是对应于相应当前业务类型的各种状态设置的可无歧义辨别状态类别的典型图像，所述R为相应当前业务类型下所有状态类别的总数，所述P为正整数。12.根据权利要求11所述的装置，其特征在于，在所述状态识别单元中，所述状态识别模型包括用于进行语义分割的第一层级网络和用于进行状态识别的第二层级网络；所述第一层级网络的输入为所述待评分的原始图像和所述标签，输出为对应于每个所述标签的语义特征图，用于标记与所述每个当前业务类型相关的图像区域；所述第二层级网络包括与M个业务类型一一对应的M个子网络；其中，所述M为所有业务类型的总数；每个所述子网络的输入为所述待评分的原始图像和与该子网络对应的第一当前业务类型的各标签相应的、修正后的语义特征图，每个所述子网络将所述待评分的原始图像和所述修正后的语义特征图在通道维度上进行连接，并将连接后的图像输入分类网络进行状态识别，得到与所述第一当前业务类型对应的所述第一状态特征向量；其中，所述修正后的语义特征图为上采样到与所述待评分的原始图像大小相同的语义特征图。13.根据权...

【专利技术属性】
技术研发人员：蔡晓蕙，
申请(专利权)人：上海高德威智能交通系统有限公司，
类型：发明
国别省市：