图像处理或图像处理模型的训练方法技术

本公开提供了一种图像处理或图像处理模型的训练方法

【技术实现步骤摘要】
图像处理或图像处理模型的训练方法、装置、设备及介质


[0001]本公开涉及图像处理领域，具体涉及智慧城市
、
深度学习和计算机视觉领域，尤其涉及一种图像处理或图像处理模型的训练方法
、
装置
、
设备及介质
。

技术介绍

[0002][0003]目前共享单车作为一种公共性交通工具，承载了市民短途出行需求
。
在城市日常交通中扮演举足轻重的角色
。
而对于共享单车的监管需求也应运而生，共享单车的规范停放不仅美化市容，也是对于共享单车使用效率的提升
。

技术实现思路

[0004]本公开提供了一种图像处理或图像处理模型的训练方法
、
装置
、
设备及介质
。
[0005]根据本公开的一方面，提供了一种图像处理方法，包括：
[0006]对待处理图像进行特征提取，得到所述待处理图像的图像特征，所述待处理图像的图像特征的尺寸小于所述待处理图像尺寸；
[0007]将所述待处理图像的图像特征进行网格化，得到至少一个待处理网格的待处理网格特征；
[0008]根据所述待处理网格的待处理网格特征，对所述待处理网格进行目标类别预测，得到所述待处理网格的类别置信度；
[0009]根据各所述待处理网格的类别置信度对各所述待处理网格的待处理网格特征进行筛选，得到所述待处理图像的筛选特征；
[0010]基于所述待处理图像的筛选特征和所述待处理图像的图像特征，生成所述待处理图像的图像分割结果
。
[0011]根据本公开的一方面，提供了一种图像处理装置，包括：所述图像处理模型实现如本公开任一项实施例所述的图像处理方法；
[0012]特征提取模块，用于对待处理图像进行特征提取，得到所述待处理图像的图像特征，所述待处理图像的图像特征的尺寸小于所述待处理图像尺寸；
[0013]目标分类模块，用于将所述待处理图像的图像特征进行网格化，得到至少一个待处理网格的待处理网格特征；
[0014]目标分类模块，用于根据所述待处理网格的待处理网格特征，对所述待处理网格进行目标类别预测，得到所述待处理网格的类别置信度；
[0015]目标分割模块，用于根据各所述待处理网格的类别置信度对各所述待处理网格的待处理网格特征进行筛选，得到所述待处理图像的筛选特征；
[0016]目标分割模块，用于基于所述待处理图像的筛选特征和所述待处理图像的图像特征，生成所述待处理图像的图像分割结果
。
[0017]根据本公开的一方面，提供了一种图像处理模型的训练方法，包括：所述图像处理
模型实现如本公开任一项实施例所述的图像处理方法；
[0018]通过所述图像处理模型，对样本图像进行特征提取，得到所述样本图像的图像特征，所述样本图像的图像特征的尺寸小于所述样本图像尺寸；
[0019]通过所述图像处理模型，将所述样本图像的图像特征进行网格化，得到至少一个样本网格的样本网格特征；
[0020]通过所述图像处理模型，根据所述样本网格的样本网格特征，对所述样本网格进行目标类别预测，得到所述样本网格的类别置信度；
[0021]通过所述图像处理模型，根据各所述样本网格的类别置信度对各所述样本网格的样本网格特征进行筛选，得到所述样本图像的筛选特征；
[0022]通过所述图像处理模型，基于所述样本图像的筛选特征和所述样本图像的图像特征，生成所述样本图像的预测分割结果；
[0023]通过所述图像处理模型，计算所述样本图像的标准分割结果与所述预测分割结果之间的第一差异；
[0024]通过所述图像处理模型，计算所述样本图像的标准类别与各所述样本网格的类别置信度之间的第二差异；
[0025]通过所述图像处理模型，根据所述第一差异和所述第二差异，调整所述图像处理模型的模型参数
。
[0026]根据本公开的一方面，提供了一种图像处理模型的训练装置，包括：所述图像处理模型配置有如本公开任一项实施例所述的图像处理装置；
[0027]所述图像处理模型，用于对样本图像进行特征提取，得到所述样本图像的图像特征，所述样本图像的图像特征的尺寸小于所述样本图像尺寸；
[0028]所述图像处理模型，用于将所述样本图像的图像特征进行网格化，得到至少一个样本网格的样本网格特征；
[0029]所述图像处理模型，用于根据所述样本网格的样本网格特征，对所述样本网格进行目标类别预测，得到所述样本网格的类别置信度；
[0030]所述图像处理模型，用于根据各所述样本网格的类别置信度对各所述样本网格的样本网格特征进行筛选，得到所述样本图像的筛选特征；
[0031]所述图像处理模型，用于基于所述样本图像的筛选特征和所述样本图像的图像特征，生成所述样本图像的预测分割结果；
[0032]所述图像处理模型，用于计算所述样本图像的标准分割结果与所述预测分割结果之间的第一差异；
[0033]所述图像处理模型，用于计算所述样本图像的标准类别与各所述样本网格的类别置信度之间的第二差异；
[0034]所述图像处理模型，用于根据所述第一差异和所述第二差异，调整所述图像处理模型的模型参数
。
[0035]根据本公开的另一方面，提供了一种电子设备，包括：
[0036]至少一个处理器；以及
[0037]与所述至少一个处理器通信连接的存储器；其中，
[0038]所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一
个处理器执行，以使所述至少一个处理器能够执行本公开任一实施例所述的图像处理方法或图像处理模型的训练方法
。
[0039]根据本公开的另一方面，提供了一种存储有计算机指令的非瞬时计算机可读存储介质，其中，所述计算机指令用于使所述计算机执行本公开任一实施例所述的图像处理方法或图像处理模型的训练方法
。
[0040]根据本公开的另一方面，提供了一种计算机程序产品，包括计算机程序，所述计算机程序在被处理器执行时实现本公开任一实施例所述的图像处理方法或图像处理模型的训练方法
。
[0041]本公开实施例可以提高目标分割准确性和效率
。
[0042]应当理解，本部分所描述的内容并非旨在标识本公开的实施例的关键或重要特征，也不用于限制本公开的范围
。
本公开的其它特征将通过以下的说明书而变得容易理解
。
附图说明
[0043]附图用于更好地理解本方案，不构成对本公开的限定
。
其中：
[0044]图1是根据本公开实施例公开的一种图像处理方法的流程图；
[0045]图2是根据本公开实施例公开的另一种图像处理方法的流程图；
[0046]图3是根据本公开实施例公开的另一种图像处理方法的流程图；
[00本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.
一种图像处理方法，包括：对待处理图像进行特征提取，得到所述待处理图像的图像特征，所述待处理图像的图像特征的尺寸小于所述待处理图像尺寸；将所述待处理图像的图像特征进行网格化，得到至少一个待处理网格的待处理网格特征；根据所述待处理网格的待处理网格特征，对所述待处理网格进行目标类别预测，得到所述待处理网格的类别置信度；根据各所述待处理网格的类别置信度对各所述待处理网格的待处理网格特征进行筛选，得到所述待处理图像的筛选特征；基于所述待处理图像的筛选特征和所述待处理图像的图像特征，生成所述待处理图像的图像分割结果
。2.
根据权利要求1所述的方法，所述根据各所述待处理网格的类别置信度对各所述待处理网格的待处理网格特征进行筛选，得到所述待处理图像的筛选特征，包括：根据各所述待处理网格的类别置信度，筛选出存在目标的目标待处理网格；将各所述目标待处理网格的待处理网格特征进行组合，生成所述待处理图像的筛选特征
。3.
根据权利要求1或2所述的方法，其中，所述根据所述待处理网格的待处理网格特征，对所述待处理网格进行目标类别预测，得到所述待处理网格的类别置信度，包括：根据所述待处理网格的待处理网格特征，对所述待处理网格进行目标类别预测，得到所述待处理网格所属至少一个类别的概率；在所述待处理网格所属至少一个类别的概率中，选择最高概率，确定为所述待处理网格的类别置信度
。4.
根据权利要求1所述的方法，其中，所述基于所述待处理图像的筛选特征和所述待处理图像的图像特征，生成所述待处理图像的图像分割结果，包括：将所述待处理图像的图像特征进行卷积和尺寸调整，得到所述待处理图像的调整后的图像特征，所述待处理图像的调整后的图像特征的尺寸与所述待处理图像尺寸相同；将所述待处理图像的筛选特征确定为卷积核，对所述待处理图像的调整后的图像特征进行卷积，生成所述待处理图像中的掩码分割结果，确定为所述待处理图像的图像分割结果
。5.
根据权利要求1所述的方法，其中，所述将所述待处理图像的图像特征进行网格化，得到至少一个待处理网格的待处理网格特征，包括：对所述待处理图像的图像特征进行插值，得到所述待处理图像的插值特征；对所述待处理图像的插值特征进行网格划分，得到至少一个待处理网格的待处理网格特征
。6.
根据权利要求1所述的方法，其中，所述类别置信度包括共享非机动车的品牌检测结果；在生成所述待处理图像的图像分割结果之后，还包括：根据所述待处理图像中共享非机动车的分割结果以及共享非机动车的品牌检测结果，检测共享非机动车是否违规停放
。
7.
根据权利要求6所述的方法，其中，所述共享非机动车的品牌检测结果包括是或否；或者所述共享非机动车的品牌的置信度检测结果包括单车或群车
。8.
根据权利要求1所述的方法，还包括：基于所述待处理图像的筛选特征和所述待处理图像的图像特征，对所述待处理图像进行目标框检测
。9.
根据权利要求1所述的方法，其中，所述对待处理图像进行特征提取，得到所述待处理图像的图像特征，包括：对所述待处理图像进行多尺度特征提取，得到多个尺寸的特征；对所述多个尺寸的特征进行融合，得到所述待处理图像的图像特征
。10.
根据权利要求1所述的方法，其中，所述图像处理方法通过预先训练的图像处理模型实现
。11.
一种图像处理模型的训练方法，包括：所述图像处理模型实现如权利要求1‑
10
任一项所述的图像处理方法；通过所述图像处理模型，对样本图像进行特征提取，得到所述样本图像的图像特征，所述样本图像的图像特征的尺寸小于所述样本图像尺寸；通过所述图像处理模型，将所述样本图像的图像特征进行网格化，得到至少一个样本网格的样本网格特征；通过所述图像处理模型，根据所述样本网格的样本网格特征，对所述样本网格进行目标类别预测，得到所述样本网格的类别置信度；通过所述图像处理模型，根据各所述样本网格的类别置信度对各所述样本网格的样本网格特征进行筛选，得到所述样本图像的筛选特征；通过所述图像处理模型，基于所述样本图像的筛选特征和所述样本图像的图像特征，生成所述样本图像的预测分割结果；通过所述图像处理模型，计算所述样本图像的标准分割结果与所述预测分割结果之间的第一差异；通过所述图像处理模型，计算所述样本图像的标准类别与各所述样本网格的类别置信度之间的第二差异；通过所述图像处理模型，根据所述第一差异和所述第二差异，调整所述图像处理模型的模型参数
。12.
根据权利要求
11
所述的方法，其中，所述样本图像的标准类别，包括：在所述样本图像的与所述样本网格对应的区域中存在的目标类别，其中，目标类别的数量为至少一个
。13.
根据权利要求
12
所述的方法，其中，所述计算所述样本图像的标准类别与所述样本网格的类别置信度之间的第二差异，包括：计算所述样本网格的类别置信度与所述样本图像相应区域的至少一个目标类别之间的二分类交叉熵损失值
。14.
根据权利要求
13
所述的方法，还包括：通过所述图像处理模型，基于所述样本图像的筛选特征和所述样本图像的图像特征，对所述样本图像进行样本框检测；所述通过所述图像处理模型，根据所述第一差异和所述第二差异，调整所述图像处理
模型的模型参数，包括：通过所述图像处理模型，计算所述样本图像的标准框与所述样本框之间的第三差异；通过所述图像处理模型，根据所述第一差异
、
所述第二差异和所述第三差异，调整所述图像处理模型的模型参数
。15.
根据权利要求
14
所述的方法，其中，所述基于所述样本图像的筛选特征和所述样本图像的图像特征，对所述样本图像进行样本框检测，包括：根据所述样本图像的筛选特征，在所述样本图像中检测目标框的坐标，得到所述样本图像的样本框
。16.
根据权利要求
11
所述的方法，还包括：通过所述图像处理模型，根据所述目标类别的数量，调整所述样本图像包括样本网格的网格数量，以减少所述样本图像中与样本网格对应的区域中存在的目标类别的数量；所述通过所述图像处理模型，将所述样本图像的图像特征进行网格化，包括：通过所述图像处理模型，根据调整后的网格数量，将所述样本图像的图像特征进行网格化
。17.
一种图像处理装置，包括：特征提取模块，用于对待处理图像进行特征提取，得到所述待处理图像的图像特征，所述待处理图像的图像特征的尺寸小于所述待处理图像尺寸；目标分类模块，用于将所述待处理图像的图像特征进行网格化，得到至少一个待处理网格的待处理网格特征；所述目标分类模块，用于根据所述待处理网格的待处理网格特征，对所述待处理网格进行目标类别预测，得到所述待处理网格的类别置信度；目标分割模块，用于根据各所述待处理网格的类别置信度对各所述待处理网格的待处理网格特征进行筛选，得到所述待处理图像的筛选特征；所述目标分割模块，用于基于所述待处理图像的筛选特征和所述待处理图像的图像特征，生成所述待处理图像的图像分割结果...

【专利技术属性】
技术研发人员：赵一麟，沈智勇，陆勤，龚建，
申请(专利权)人：北京百度网讯科技有限公司，
类型：发明
国别省市：