标识识别方法及其模型的训练方法、装置及电子系统制造方法及图纸

本发明专利技术提供了一种标识识别方法及其模型的训练方法、装置及电子系统，在获取包含有标识的待识别图片后，通过预设的特征提取网络，提取该待识别图片的多层级初始特征图，并对多层级初始特征图中的指定层级的初始特征图进行特征融合处理，从而得到融合特征图；再提取融合特征图的全局特征；最终根据融合特征图和全局特征，识别待识别图片中的标识。本发明专利技术考虑了待识别图片的深层、浅层等多层次的特征，并加入图片的全局信息进行标识识别，从而提高了标识识别的准确度。

Training method, device and electronic system of identification method and its model

The invention provides a training method, device and electronic system of an identification recognition method and its model. After acquiring a picture to be recognized containing an identification, the multi-level initial feature map of the picture to be recognized is extracted through a preset feature extraction network, and the initial feature map of the specified level in the multi-level initial feature map is processed for feature fusion, so as to obtain the fusion feature Feature map; then extract the global features of the fusion feature map; finally, according to the fusion feature map and global features, identify the identification in the image to be recognized. The invention considers the multi-level features of the deep layer, the shallow layer and the like of the picture to be recognized, and adds the global information of the picture for identification recognition, thereby improving the accuracy of identification recognition.

【技术实现步骤摘要】
标识识别方法及其模型的训练方法、装置及电子系统
本专利技术涉及人工智能
，尤其是涉及一种标识识别方法及其模型的训练方法、装置及电子系统。
技术介绍
相关技术中，对车牌等标识的识别过程中可以首先对标识的各个字符进行分割，然后分别进行字符识别，从而实现整个标识的识别；或者采用端到端的标识识别方式，即将包括待识别标识的图像输入到训练好的标识识别模型中，由标识识别模型输出标识的识别结果。上述两种标识识别方式在实现过程中，大多采用特征提取网络最终输出的特征识别车牌等标识，由于使用的特征有限，导致标识识别的准确度较低。
技术实现思路
有鉴于此，本专利技术的目的在于提供一种标识识别方法及其模型的训练方法、装置及电子系统，以全面地提取待识别标识的多层次特征，进而提高标识识别的准确度。第一方面，本专利技术实施例提供了一种标识识别方法，包括：获取包含有标识的待识别图片；通过预设的特征提取网络，提取待识别图片的多层级初始特征图；对多层级初始特征图中的指定层级的初始特征图进行特征融合处理，得到融合特征图；提取融合特征图的全局特征；根据融合特征图和全局特征，识别待识别图片中的标识。结合第一方面，本专利技术实施例提供了第一方面的第一种可能的实施方式，其中，上述特征提取网络包括多层卷积层；通过预设的特征提取网络，提取待识别图片的多层级初始特征图的步骤，包括：将待识别图片输入至多层卷积层中，通过每层卷积层提取待识别图片的相应层级的初始特征图，得到待识别图片的多层级初始特征图。结合第一方面的第一种可能的实施方式，本专利技术实施例提供了第一方面的第二种可能的实施方式，其中，上述指定层级的初始特征图包括：多层卷积层中，从最后一级的卷积层开始的连续指定数量的卷积层输出的初始特征图；最后一级的卷积层用于：输出待识别图片的最高层级的初始特征图。结合第一方面或第一方面的第二种可能的实施方式，本专利技术实施例提供了第一方面的第三种可能的实施方式，其中，对多层级初始特征图中的指定层级的初始特征图进行特征融合处理，得到融合特征图的步骤，包括：对多层级初始特征图中的指定层级的初始特征图，进行级联融合处理，得到中间结果；对中间结果进行卷积计算，得到融合特征图。结合第一方面，本专利技术实施例提供了第一方面的第四种可能的实施方式，其中，上述全局特征包括融合特征图中，每个通道下的子特征图的平均值。结合第一方面的第四种可能的实施方式，本专利技术实施例提供了第一方面的第五种可能的实施方式，其中，上述提取融合特征图的全局特征的步骤，包括：采用预设的平均池化层提取融合特征图中，每个通道下的子特征图的平均值。结合第一方面，本专利技术实施例提供了第一方面的第六种可能的实施方式，其中，根据融合特征图和全局特征，识别待识别图片中的标识的步骤包括：针对每个通道，生成当前通道的虚拟特征图；其中，虚拟特征图中的特征值为：融合特征图中，当前通道下的子特征图的平均值；虚拟特征图的尺度与当前通道下的子特征图的尺度相同；将融合特征图中，当前通道的子特征图与当前通道的虚拟特征图中，相应位置上的特征值相加，得到当前通道的最终特征图；根据每个通道的最终特征图，识别待识别图片中的标识。结合第一方面的第六种可能的实施方式，本专利技术实施例提供了第一方面的第七种可能的实施方式，其中，根据每个通道的最终特征图，识别待识别图片中的标识的步骤，包括：将每个通道的最终特征图输入至预设的全连接层，得到输出结果；针对每个字符，将输出结果中，与当前字符相关联的数值输入至预设的softmax函数中，输出当前字符对应的概率向量；其中，概率向量包括：当前字符为指定字符的概率；将概率向量中，最大概率对应的指定字符确定为当前字符。第二方面，本专利技术实施例还提供一种标识识别模型的训练方法，包括：基于预设的训练集合确定当前训练图片；其中，当前训练图片上标注有标准标识字符；将当前训练图片输入至预设的特征提取网络，输出当前训练图片的多层级初始特征图；对多层级初始特征图中的指定层级的初始特征图进行特征融合处理，得到融合特征图；提取融合特征图的全局特征，根据融合特征图和全局特征，识别待识别图片中的标识，得到识别结果；根据标准标识字符和预设的损失函数，计算识别结果的损失值；继续执行基于预设的训练集合确定当前训练图片的步骤，直至损失值收敛，得到标识识别模型。第三方面，本专利技术实施例还提供一种标识识别装置，包括：图片获取模块，用于获取包含有标识的待识别图片；第一特征提取模块，用于通过预设的特征提取网络，提取待识别图片的多层级初始特征图；第一特征融合模块，用于对多层级初始特征图中的指定层级的初始特征图进行特征融合处理，得到融合特征图；第一全局特征提取模块，用于提取融合特征图的全局特征；标识识别模块，用于根据融合特征图和全局特征，识别待识别图片中的标识。第四方面，本专利技术实施例还提供一种标识识别模型的训练装置，包括：训练图片确定模块，用于基于预设的训练集合确定当前训练图片；其中，当前训练图片上标注有标准标识字符；第二特征提取模块，用于将当前训练图片输入至预设的特征提取网络，输出当前训练图片的多层级初始特征图；第二特征融合模块，用于对多层级初始特征图中的指定层级的初始特征图进行特征融合处理，得到融合特征图；第二全局特征提取模块，用于提取融合特征图的全局特征，根据融合特征图和全局特征，识别待识别图片中的标识，得到识别结果；损失值计算模块，用于根据标准标识字符和预设的损失函数，计算识别结果的损失值；继续执行基于预设的训练集合确定当前训练图片的步骤，直至损失值收敛，得到标识识别模型。第五方面，本专利技术实施例还提供一种电子系统，该电子系统包括：图像采集设备、处理设备和存储装置；图像采集设备，用于获取预览视频帧或图像数据；存储装置上存储有计算机程序，计算机程序在被处理设备运行时执行上述标识识别方法或上述标识识别模型的训练方法。第六方面，本专利技术实施例还提供一种计算机可读存储介质，该计算机可读存储介质上存储有计算机程序，计算机程序被处理设备运行时执行上述标识识别方法或上述标识识别模型的训练方法。本专利技术实施例带来了以下有益效果：本专利技术实施例提供了一种标识识别方法及其模型的训练方法、装置及电子系统，在获取包含有标识的待识别图片后，通过预设的特征提取网络，提取该待识别图片的多层级初始特征图，并对多层级初始特征图中的指定层级的初始特征图进行特征融合处理，从而得到融合特征图；再提取融合特征图的全局特征；最终根据融合特征图和全局特征，识别待识别图片中的标识。该标识识别方式中，考虑了待识别图片的深层、浅层等多层次的特征，并加入图片的全局信息进行标识识别，从而提高了标识识别的准确度。本专利技术的其他特征和优点将在随后的说明书中阐述，或者，部分特征和优点可以从说明书推知或毫无疑义地确定，或者通过实施本专利技术的上述技术即可得知。为使本专利技术的上述目的、特征和优点能更明显易懂，下文特举较佳实施方式，并配合所附附图，作详细说明如下。附图说明为了更清楚地说明本专利技术具体实施方式或现有技术中的技术方案，下本文档来自技高网...

【技术保护点】
1.一种标识识别方法，其特征在于，包括：/n获取包含有标识的待识别图片；/n通过预设的特征提取网络，提取所述待识别图片的多层级初始特征图；/n对所述多层级初始特征图中的指定层级的初始特征图进行特征融合处理，得到融合特征图；/n提取所述融合特征图的全局特征；/n根据所述融合特征图和所述全局特征，识别所述待识别图片中的标识。/n

【技术特征摘要】
1.一种标识识别方法，其特征在于，包括：
获取包含有标识的待识别图片；
通过预设的特征提取网络，提取所述待识别图片的多层级初始特征图；
对所述多层级初始特征图中的指定层级的初始特征图进行特征融合处理，得到融合特征图；
提取所述融合特征图的全局特征；
根据所述融合特征图和所述全局特征，识别所述待识别图片中的标识。


2.根据权利要求1所述的方法，其特征在于，所述特征提取网络包括多层卷积层；
所述通过预设的特征提取网络，提取所述待识别图片的多层级初始特征图的步骤，包括：将所述待识别图片输入至所述多层卷积层中，通过每层所述卷积层提取所述待识别图片的相应层级的初始特征图，得到所述待识别图片的多层级初始特征图。


3.根据权利要求2所述的方法，其特征在于，所述指定层级的初始特征图包括：所述多层卷积层中，从最后一级的卷积层开始的连续指定数量的卷积层输出的初始特征图；所述最后一级的卷积层用于：输出所述待识别图片的最高层级的初始特征图。


4.根据权利要求1或3所述的方法，其特征在于，对所述多层级初始特征图中的指定层级的初始特征图进行特征融合处理，得到融合特征图的步骤，包括：
对所述多层级初始特征图中的指定层级的初始特征图，进行级联融合处理，得到中间结果；
对所述中间结果进行卷积计算，得到融合特征图。


5.根据权利要求1所述的方法，其特征在于，所述全局特征包括所述融合特征图中，每个通道下的子特征图的平均值。


6.根据权利要求5所述的方法，其特征在于，所述提取所述融合特征图的全局特征的步骤，包括：采用预设的平均池化层提取所述融合特征图中，每个通道下的子特征图的平均值。


7.根据权利要求5所述的方法，其特征在于，根据所述融合特征图和所述全局特征，识别所述待识别图片中的标识的步骤包括：
针对每个通道，生成当前通道的虚拟特征图；其中，所述虚拟特征图中的特征值为：所述融合特征图中，所述当前通道下的子特征图的平均值；所述虚拟特征图的尺度与所述当前通道下的子特征图的尺度相同；
将所述融合特征图中，当前通道的子特征图与所述当前通道的虚拟特征图中，相应位置上的特征值相加，得到所述当前通道的最终特征图；
根据每个通道的最终特征图，识别所述待识别图片中的标识。


8.根据权利要求7所述的方法，其特征在于，根据每个通道的最终特征图，识别所述待识别图片中的标识的步骤，包括：
将所述每个通道的最终特征图输入至预设的全连接层，得到输出结果；
针对每个字符，将所述输出结果中，与当前字符相关联的数值输入至预设的softmax函数中，输出所述当前字符对应的概率向量；其中，所述概率向量包括：所述当前字符为指定字符的概率；
将所...

【专利技术属性】
技术研发人员：张沁仪，邵帅，
申请(专利权)人：北京迈格威科技有限公司，
类型：发明
国别省市：北京;11