一种训练方法、图像质量确定方法及装置、电子设备制造方法及图纸

本公开提供一种训练方法、图像质量确定方法及装置、电子设备，涉及图像质量分析技术领域。该训练方法包括：基于样本图像集生成多个多标签数据，每个多标签数据包括目标图像以及目标图像的多种质量标签的属性值，每个样本图像的分辨率与相应目标图像的分辨率相同，至少两个多标签数据包括的目标图像的尺寸不同，基于多个所述多标签数据分批次训练多标签分类模型，所述多标签分类模型在至少两批训练时的图像输入尺寸不同。训练完成的多标签分类模型支持多个尺寸的图像质量确定，具有较高的泛化能力和鲁棒性。能力和鲁棒性。能力和鲁棒性。

【技术实现步骤摘要】
一种训练方法、图像质量确定方法及装置、电子设备


[0001]本公开涉及图像质量分析
，尤其涉及训练方法、图像质量确定方法及装置、电子设备。

技术介绍

[0002]目前，可以利用光学字符识别（Optical Character Recognition，缩写为OCR）技术对文本图像进行识别，从而识别到文本图像内的文本，因此，文本图像质量对文本识别正确性有着比较重要的影响。
[0003]在进行OCR识别前，可以对文本图像质量进行评估，然后根据评估结果对文本图像进行质量增强，继而提升文本图像的文本识别准确性。相关技术中，可以采用无参考图质量评价方法评估文本图像质量，如可以采用边缘检测或特征提取算法等传统图像处理算法判断图像边缘强度和模糊程度。

技术实现思路

[0004]根据本公开的一方面，提供了一种训练方法，包括：基于样本图像集生成多个多标签数据，每个所述多标签数据包括目标图像以及所述目标图像的N种质量标签的属性值，所述样本图像集含有的每个样本图像的分辨率与相应所述多标签数据含有的所述目标图像的分辨率相同，至少两个所述多标签数据包括的目标图像的尺寸不同，N为大于或等于2的整数；基于多个所述多标签数据分批次训练多标签分类模型，所述多标签分类模型在至少两批训练时的图像输入尺寸不同。
[0005]根据本公开的另一方面，提供了一种图像质量识别方法，包括：获取输入图像；基于多标签分类模型，确定所述输入图像的N种图像质量；其中，所述多标签分类模型在至少两批训练时的图像输入尺寸不同。
[0006]根据本公开的另一方面，提供了一种训练装置，包括：数据生成单元，用于基于样本图像集生成多个多标签数据，每个所述多标签数据包括目标图像以及所述目标图像的N种质量标签的属性值，所述样本图像集含有的每个样本图像的分辨率与相应所述多标签数据含有的所述目标图像的分辨率相同，至少两个所述多标签数据包括的目标图像的尺寸不同，N为大于或等于2的整数；模型训练单元，用于基于多个所述多标签数据分批次训练多标签分类模型，所述多标签分类模型在至少两批训练时的图像输入尺寸不同。
[0007]根据本公开的另一方面，提供了一种图像质量确定方法，包括：获取单元，用于获取输入图像；质量分析单元，用于基于多标签分类模型，确定所述输入图像的N种图像质量。
[0008]根据本公开的另一方面，提供了一种电子设备，包括：
处理器；以及，存储程序的存储器；其中，所述程序包括指令，所述指令在由所述处理器执行时使所述处理器执行所述训练方法或所述图像质量识别方法。
[0009]根据本公开的另一方面，提供了一种非瞬时计算机可读存储介质，其特征在于，所述非瞬时计算机可读存储介质存储有计算机指令，所述计算机指令用于使所述计算机执行所述训练方法或所述图像质量识别方法。
[0010]本公开实施例中提供的一个或多个技术方案，在没有参考图的情况下，每个多标签数据含有的目标图像保留样本图像的质量，因此，基于多个多标签数据分批次训练多标签分类模型，可获得精度较高、鲁棒性较好的多标签分类模型。在分批训练所述多标签分类模型时，至少两批多标签数据包括的所述目标图像的尺寸不同，使得训练出的多标签分类模型适用于不同尺寸的图像质量预测，并且可以从多个维度全面的预测图像质量。另外，由于在多标签分类模型训练和使用过程中，无需借助场景先验知识，可以简化操作和计算复杂度，使得多标签分类模型对图像质量的识别具有较高的稳定性和鲁棒性。
附图说明
[0011]在下面结合附图对于示例性实施例的描述中，本公开的更多细节、特征和优点被公开，在附图中：图1示出了根据本公开示例性实施例提供的方法示例出的系统架构示意图；图2示出了本公开实施例示例性提供的训练方法的流程图；图3示出了本公开实施例示例性的生成多标签数据的流程图；图4示出了本公开实施例示例性的样本图像的一种处理流程图；图5示出了本公开实施例示例性的样本图像的裁剪拼接示意图；图6示出了本公开实施例示例性的样本图像的另一种处理流程图；图7示出了本公开实施例示例性的一种样本图像可视化裁剪示意图；图8示出了本公开实施例示例性的另一种样本图像可视化裁剪示意图；图9示出了本公开实施例示例性的一种目标图像的可视化生成示例图；图10示出了本公开实施例示例性的另一种目标图像的可视化生成示例图；图11示出了本公开实施例示例性的又一种目标图像的可视化生成示例图；图12示出了本公开实施例示例性的再一种目标图像的可视化生成示例图；图13示出了本公开实施例示例性的多标签分类模型的架构图；图14示出了本公开实施例示例性的第二残差单元的结构示意图；图15示出了本公开实施例示例性的多标签分类网络的原理图；图16示出了本公开实施例示例性的图像质量确定方法的流程图；图17示出了本公开实施例示例性的输入图像一种处理流程图；图18示出了本公开实施例示例性的输入图像的另一种处理流程图；图19示出了本公开实施例示例性的N种图像质量的确定流程图；图20示出了根据本公开示例性实施例的训练装置的功能模块示意性框图；图21示出了根据本公开示例性实施例的执行装置的功能模块示意性框图；
图22示出了根据本公开示例性实施例的芯片的示意性框图；图23示出了能够用于实现本公开的实施例的示例性电子设备的结构框图。
具体实施方式
[0012]下面将参照附图更详细地描述本公开的实施例。虽然附图中显示了本公开的某些实施例，然而应当理解的是，本公开可以通过各种形式来实现，而且不应该被解释为限于这里阐述的实施例，相反提供这些实施例是为了更加透彻和完整地理解本公开。应当理解的是，本公开的附图及实施例仅用于示例性作用，并非用于限制本公开的保护范围。
[0013]应当理解，本公开的方法实施方式中记载的各个步骤可以按照不同的顺序执行，和/或并行执行。此外，方法实施方式可以包括附加的步骤和/或省略执行示出的步骤。本公开的范围在此方面不受限制。
[0014]本文使用的术语“包括”及其变形是开放性包括，即“包括但不限于”。术语“基于”是“至少部分地基于”。术语“一个实施例”表示“至少一个实施例”；术语“另一实施例”表示“至少一个另外的实施例”；术语“一些实施例”表示“至少一些实施例”。其他术语的相关定义将在下文描述中给出。需要注意，本公开中提及的“第一”、“第二”等概念仅用于对不同的装置、模块或单元进行区分，并非用于限定这些装置、模块或单元所执行的功能的顺序或者相互依存关系。
[0015]需要注意，本公开中提及的“一个”、“多个”的修饰是示意性而非限制性的，本领域技术人员应当理解，除非在上下文另有明确指出，否则应该理解为“一个或多个”。
[0016]本公开实施方式中的多个装置之间所交互的消息或者信息的名称仅用于说明性的目的，而并不是用于对这些消息或信息的范围进行限制。以下参照附图描述本公开的方案。
[0017]在介绍本公开实施例之前首先对本公开实施例中涉及到的相关名词作如下释义：图像质量评价（Image Quality Assessment，缩写为I本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种训练方法，其特征在于，包括：基于样本图像集生成多个多标签数据，每个所述多标签数据包括目标图像以及所述目标图像的N种质量标签的属性值，所述样本图像集含有的每个样本图像的分辨率与相应所述多标签数据含有的所述目标图像的分辨率相同，至少两个所述多标签数据包括的目标图像的尺寸不同，N为大于或等于2的整数；基于多个所述多标签数据分批次训练多标签分类模型，所述多标签分类模型在至少两批训练时的图像输入尺寸不同。2.根据权利要求1所述的方法，其特征在于，所述基于样本图像集生成多个多标签数据，包括：确定所述样本图像的尺寸等于多种所述图像输入尺寸中的一个的情况下，在所述样本图像上标注N种所述质量标签值的属性值，获得多标签数据；确定所述样本图像的尺寸不等于所有所述图像输入尺寸的情况下，对所述样本图像进行处理，获得所述目标图像，所述目标图像的尺寸等于多种所述图像输入尺寸中的一个；在所述目标图像上标注N种所述质量标签值的属性值，获得多标签数据；更新所述样本图像。3.根据权利要求2所述的方法，其特征在于，所述对所述样本图像进行处理，获得所述目标图像，包括：确定所述样本图像的长宽比值大于预设比值时，通过裁剪和拼接的方式处理所述样本图像，直到处理后的所述样本图像的长宽比值小于或等于预设比值；在处理后的所述样本图像的长宽比值小于或等于预设比值，处理后的所述样本图像的尺寸等于多种所述图像输入尺寸中的一个时，获得所述目标图像。4.根据权利要求3所述的方法，其特征在于，所述通过裁剪和拼接的方式处理所述样本图像，包括：以所述样本图像的宽边延伸方向为分割线方向将样本图像分成两等分，获得两个子样本图像；以所述样本图像的长边延伸方向为拼接线方向将两个所述子样本图像拼接在一起。5.根据权利要求2~4任一项所述的方法，其特征在于，当所述样本图像的长度大于多种所述图像输入尺寸中的最大尺寸，所述目标图像的尺寸等于所述最大尺寸；所述对所述样本图像进行处理，获得所述目标图像，包括：提取所述样本图像的梯度图；基于所述样本图像的梯度图获得感兴趣子图像，所述感兴趣子图像的长度等于所述最大尺寸；生成包含所述感兴趣子图像的所述目标图像。6.根据权利要求5所述的方法，其特征在于，所述感兴趣子图像为文本子图像；和/或，所述样本图像具有同样尺寸的多个候选子图像，所述感兴趣子图像为多个所述候选子图像中梯度和最大的一个。7.根据权利要求5所述的方法，其特征在于，当所述样本图像的宽度大于或等于所述最大尺寸，所述感兴趣子图像的宽度等于所述最大尺寸。8.根据权利要求5所述的方法，其特征在于，所述样本图像的宽度小于所述最大尺寸，
所述目标图像还包括第一填充子图像，所述第一填充子图像与所述感兴趣子图像沿着所述感兴趣子图像的宽度方向分布；和/或，所述生成包含所述感兴趣子图像的所述目标图像，包括：确定所述感兴趣子图像的宽度小于所述最大尺寸的情况下，在所述感兴趣子图像的长边拼接第一填充子图像，获得所述目标图像。9.根据权利要求8所述的方法，其特征在于，当所述最大尺寸对所述感兴趣子图像的宽度的向下取整结果大于或等于K，所述第一填充子图像包括K
‑
1个第一子图像，K为大于或等于1的整数，每个所述第一子图像为所述感兴趣子图像的复制图像；当所述最大尺寸对所述感兴趣子图像的宽度的取余结果为大于或等于1的整数，所述第一填充子图像包括第二子图像，所述第二子图像含有的各个像素的像素值相同。10.根据权利要求2~4任一项所述的方法，其特征在于，当所述样本图像的长度小于或等于多种所述图像输入尺寸中的最大尺寸，多个所述图像输入尺寸具有至少一个大于或等于所述样本图像的长度的目标图像输入尺寸，所述目标图像的尺寸为多个所述目标图像输入尺寸中的一个，所述目标图像包括样本图像和第二填充子图像，所述第二填充子图像至少包括拼接在所述样本图像的长边的第一方向填充子图像；所述对所述样本图像进行处理，获得所述目标图像，包括：确定所述样本图像的宽度小于所述目标图像的宽度的情况下，在所述样本图像的长边拼接第一方向填充子图像，获得扩张图像；确定所述样本图像的长度小于所述目标图像的长度的情况下，在所述扩张图像的长边拼接第二方向填充子图像，获得所述目标图像。11.根据权利要求10所述的方法，其特征在于，当所述目标图像的宽度对所述样本图像的宽度的向下取整结果大于或等于S，所述第二填充子图像包括S
‑
1个第三子图像，每个所述第三子图像为所述样本图像的复制图像，S为大于或等于1的整数；当所述目标图像的宽度对所述样本图像的宽度的取余结果为大于或等于1的整数，所述第二填充子图像包括第四子图像，所述第四子图像含有的各个像素的像素值相同；当所述目标图像的长度对所述样本图像的长度的向下取整结果大于或等于Q，所述第一方向填充子图像包括Q
‑
1个第五子图像，所述第五子图像为所述扩张图像的复制图像，所述扩张图像包括沿着所述样本图像的宽度方向分布的所述第二填充子图像和所述样本图像，Q为大于或等于1的整数；当所述目标图像的长度对所述样本图像的长度的取余结果为大于或等于1的整数，所述第一方向填充子图像包括第六子图像，所述第六子图像含有的各个像素的像素值相同。12.根据权利要求1~4任一项所述的方法，其特征在于，所述多标签分类模型包括第一子网络和第二子网络，所述第一子网络和所述第二子网络不同；所述第一子网络用于提取所述多标签数据含有的目标图像的多个特征图；所述第二子网络用于基于多个所述特征图提取N种质量特征图，基于每种所述质量特...

【专利技术属性】
技术研发人员：尹亮，
申请(专利权)人：北京世纪好未来教育科技有限公司，
类型：发明
国别省市：