一种图像集中自动识别商品的方法和设备技术

本发明专利技术公开了一种图像集中自动识别商品的方法和设备，方法包括：获取待识别商品的图像；通过预先训练的目标检测模型在所述待识别商品的图像中截取待识别商品的商品单图；通过预先训练的深度神经网络提取所述商品单图的特征向量；将所提取的商品单图的特征向量与已识别商品特征向量库中的商品特征向量进行匹配，根据匹配结果确定待识别商品的商品类型；其中，所述已识别商品特征向量库存储有商品特征向量与商品类型之间的映射关系。本发明专利技术能够快速高效的对图像中出现的商品自动进行特征提取并自动识别商品。

【技术实现步骤摘要】
一种图像集中自动识别商品的方法和设备
本专利技术涉及一种图像集中自动识别商品的方法和设备，属于计算机视觉

技术介绍
SFA(销售能力自动化)是CRM客户关系管理系统的一个重要业务组件。SFA通过拜访目标制定、路线规划、设置执行规范、任务执行、执行结果分析等一系列功能对业务人员在外行为进行规范和引导，帮助业务人员正确高效的完成拜访规定步骤。随着人工智能的发展，图像中的商品检测已经成为SFA中一个重要的功能，用来自动识别货架、冰箱等照片中的商品，帮助企业做进一步的陈列检测、铺货率统计等等。当前做商品检测主要通过指定商品类型，收集对应图像，标注训练模型进行检测。但商品的商品类型繁多，新商品不断出现，已有商品也会更换包装上市，这样就需要及时收集商品类型和图像，维护一个商品库并不断更新训练模型，带来很大的工作量。
技术实现思路
本专利技术的目的在于克服现有技术中的不足，提出一种图像集中自动识别商品的方法和设备，能够自动从图像集中识别商品，从而使商品的识别简化并降低工作量。为达到上述目的，本专利技术是采用下述技术方案实现的：第一方面，本专利技术提供了一种图像集中自动识别商品的方法，包括以下步骤：获取待识别商品的图像；通过预先训练的目标检测模型在所述待识别商品的图像中截取待识别商品的商品单图；通过预先训练的深度神经网络提取所述商品单图的特征向量；将所提取的商品单图的特征向量与已识别商品特征向量库中的商品特征向量进行匹配，根据匹配结果确定待识别商品的商品类型；其中，所述已识别商品特征向量库存储有商品特征向量与商品类型之间的映射关系。进一步的，将所提取的商品单图的特征向量与已识别商品特征向量库中的商品征向量进行匹配，根据匹配结果确定待识别商品的商品类型的方法包括：计算已提取的商品单图的特征向量与已识别商品特征向量库中各商品特征向量之间的距离；若计算得到的距离小于阈值，则将待识别商品的商品类型确定为相应商品特征向量所映射的商品类型。进一步的，根据匹配结果确定待识别商品的商品类型的方法还包括：对于距离计算结果均大于或等于阈值的待识别商品单图的特征向量，将待识别商品单图的特征向量存入未识别特征向量库；对未识别特征向量库中的多个商品单图的特征向量进行聚类；获取聚类结果中新增商品类型的类型标注信息；将新增商品类型及其对应的商品单图的特征向量存入已识别商品特征向量库。进一步的，所述目标检测模型采用FasterRCNN目标检测算法，所述目标检测模型的训练过程包括：获取各种场景下商品的图像作为图像集合；将图像集合中出现的各种商品进行标注并为每种商品标注为唯一的一种标签，将标注好的图像集作为训练集，利用训练集训练目标检测模型，得到训练好的目标检测模型。进一步的，所述已识别商品特征向量库的构建方法包括：获取已识别商品的商品单图和商品类型标签，通过深度神经网络提取已识别商品的商品单图的特征向量，并为已识别商品的商品单图的特征向量标记对应的商品类型标签；将已识别商品的图像和商品类型标签存入已识别商品特征向量库。不断的重复此过程，则已知库包含的商品越来越多，达到自动从图片中检测商品的目的。进一步的，所述已识别商品特征向量库的构建方法还包括：获取未识别商品的图像，通过目标检测模型提取未识别商品的商品单图并利用深度神经网络提取对应商品单图的图像的特征向量；将所述未识别商品的图像的特征向量存入未识别商品特征向量库；对所述未识别商品特征向量库根据特征向量间距离进行聚类搜索，获取到未识别商品特征向量库中所有距离小于距离阈值的特征向量组合，将各特征向量组合中的特征向量定义为一类；获取各类特征向量所对应的未识别商品图像的人工判定信息，其中，对应新增类型商品的人工判定信息包括新增类型商品的商品类型标注信息；根据人工判定信息，对于新增类型的商品，将对应商品的特征向量以及对应的商品类型存至已识别商品特征向量库；如果人工判定该类未识别商品是已识别商品则将该未识别商品的特征向量标记为对应的商品类型标签并转移到已识别商品特征向量库。转移未识别商品的特征向量能够增加向量库中的可参照向量，提高下次预测的准确度。进一步的，对所述未识别商品特征向量库根据特征向量间距离进行聚类搜索的方法包括：任选一个特征向量，搜索跟此特征向量距离小于距离阈值的所有特征向量，并对搜索到的特征向量进行递归搜索，获取到所有距离小于距离阈值的特征向量。进一步的，所述已识别商品特征向量库的构建方法还包括：在将所述未识别商品的图像的特征向量存入未识别商品特征向量库之前，将未识别商品的图像的特征向量在已识别商品特征向量库中进行搜索，如果距离小于预设值，则直接丢弃。这样能够节约运算资源，提高已识别商品特征向量库的构建速度，减少向量库中冗余向量的产生。第二方面，本专利技术提供一种图像集中自动识别商品的设备，所述设备包括：图像获取模块：用于获取待识别商品的图像；检测模型模块：用于在所述待识别商品的图像中截取待识别商品的商品单图；神经网络模块：用于提取所述商品单图的特征向量；结果输出模块：用于在已识别商品特征向量库中对商品单图的特征向量进行聚类搜索，根据聚类结果输出待识别商品的商品类型。第三方面，本专利技术提供一种图像集中自动识别商品的设备，包括处理器及存储介质；所述存储介质用于存储指令；所述处理器用于根据所述指令进行操作以执行根据上述方法的步骤。与现有技术相比，本专利技术所达到的有益效果：1、本专利技术通过目标检测模型、神经网络和特征向量库能够根据待识别商品的图像准确快速地判断出待识别商品的商品类型，具有高的识别准确率。2、本专利技术通过建立特征向量库，将所提取的商品单图的特征向量与已识别商品特征向量库中的商品征向量进行匹配，能够自动识别商品，从而使商品的识别简化并降低工作量。3、本专利技术通过将待识别商品单图的特征向量存入未识别特征向量库，并进行聚类，在工作中不断更新和加入商品的特征向量，从而提高自动识别的准确性和实用性。附图说明图1为本专利技术流程示意图。具体实施方式下面结合附图对本专利技术作进一步描述。以下实施例仅用于更加清楚地说明本专利技术的技术方案，而不能以此来限制本专利技术的保护范围。实施例一：本实施例公开了一种图像集中自动识别商品的方法，如图1所示，方法包括：获取待识别商品的图像；通过预先训练的目标检测模型在所述待识别商品的图像中截取待识别商品的商品单图；通过预先训练的深度神经网络提取所述商品单图的特征向量；将所提取的商品单图的特征向量与已识别商品特征向量库中的商品特征向量进行匹配，根据匹配结果确定待识别商品的商品类型；其中，所述已识别商品特征向量库存储有商品特征向量与商品类型之间的映射关系。本实施例的方法通过目标检测模型、神经网络和特征向量库能够根本文档来自技高网...

【技术保护点】
1.一种图像集中自动识别商品的方法，其特征在于，包括以下步骤：/n获取待识别商品的图像；/n通过预先训练的目标检测模型在所述待识别商品的图像中截取待识别商品的商品单图；/n通过预先训练的深度神经网络提取所述商品单图的特征向量；/n将所提取的商品单图的特征向量与已识别商品特征向量库中的商品特征向量进行匹配，根据匹配结果确定待识别商品的商品类型；/n其中，所述已识别商品特征向量库存储有商品特征向量与商品类型之间的映射关系。/n

【技术特征摘要】
1.一种图像集中自动识别商品的方法，其特征在于，包括以下步骤：
获取待识别商品的图像；
通过预先训练的目标检测模型在所述待识别商品的图像中截取待识别商品的商品单图；
通过预先训练的深度神经网络提取所述商品单图的特征向量；
将所提取的商品单图的特征向量与已识别商品特征向量库中的商品特征向量进行匹配，根据匹配结果确定待识别商品的商品类型；
其中，所述已识别商品特征向量库存储有商品特征向量与商品类型之间的映射关系。


2.根据权利要求1所述的图像集中自动识别商品的方法，其特征在于，将所提取的商品单图的特征向量与已识别商品特征向量库中的商品征向量进行匹配，根据匹配结果确定待识别商品的商品类型的方法包括：
计算已提取的商品单图的特征向量与已识别商品特征向量库中各商品特征向量之间的距离；
若计算得到的距离小于阈值，则将待识别商品的商品类型确定为相应商品特征向量所映射的商品类型。


3.根据权利要求2所述的图像集中自动识别商品的方法，其特征在于，根据匹配结果确定待识别商品的商品类型的方法还包括：
对于距离计算结果均大于或等于阈值的待识别商品单图的特征向量，将待识别商品单图的特征向量存入未识别特征向量库；
对未识别特征向量库中的多个商品单图的特征向量进行聚类；
获取聚类结果中新增商品类型的类型标注信息；
将新增商品类型及其对应的商品单图的特征向量存入已识别商品特征向量库。


4.根据权利要求1所述的图像集中自动识别商品的方法，其特征在于，所述目标检测模型采用FasterRCNN目标检测算法，所述目标检测模型的训练过程包括：
获取各种场景下商品的图像作为图像集合；
将图像集合中出现的各种商品进行标注并为每种商品标注为唯一的一种标签，将标注好的图像集作为训练集，利用训练集训练目标检测模型，得到训练好的目标检测模型。


5.根据权利要求1所述的图像集中自动识别商品的方法，其特征在于，所述已识别商品特征向量库的构建方法包括：
获取已识别商品的商品单图和商品类型标签，通过深度神经网络提取已识别商品的商品单图的特征向量，并为已识别商品的商品单图的特征向量标记对应的商品类型标签；
将已识别商品的图像和商品类型标签存入已识别商品特征向量库。


6.根据权利要求5所述的图像集中自动识别商品的方法，其特...

【专利技术属性】
技术研发人员：刘国俭，许允杰，夏奕，刘昭，
申请(专利权)人：南京掌控网络科技有限公司，
类型：发明
国别省市：江苏;32