一种新品识别方法、装置、终端设备及存储介质制造方法及图纸

本发明专利技术公开了一种新品识别方法、装置、终端设备及存储介质，该方法包括：获取当前陈列场景中一包含新品的待识别陈列图像；将所述待识别陈列图像输入商品检测模型中，以使商品检测模型输出待识别陈列图像中所有商品图片及其位置信息；其中，所述商品检测模型基于未包含新品的历史陈列图像进行训练得到；将各所述商品图片依次输入新品识别模型中，以使新品识别模型对商品图片的类别进行识别，筛选出属于新品的商品图片；其中，所述新品识别模型基于未上架时新品的产品图片以及非新品的产品图片进行训练的得到；根据类别为新品类的商品图片及对应商品图片的位置信息，识别出待识别陈列图像中的新品。列图像中的新品。列图像中的新品。

【技术实现步骤摘要】
一种新品识别方法、装置、终端设备及存储介质


[0001]本专利技术涉及计算机软件
，尤其涉及一种新品识别方法、装置、终端设备及存储介质。

技术介绍

[0002]随着人工智能在快消领域中不断的发展，在实际交付的过程中，面临着对货架上新产品(新品)识别的问题，现有的新品识别方法需要在新品上架后，基于大量实时拍摄的铺货场景数据实现对新品的识别，也就是说在新品上架后的时候，需要采集多张包含新品的陈列图像，然后进行新品识别模型的训练，最后在模型训练完毕后，才能实现对货架上新品的操作。采用上述方案，因为是需要在新品上架之后才能构建新品识别模型，因此无法及时的对刚上架的新品进行识别，导致新品的识别存在滞后性。

技术实现思路

[0003]本专利技术实施例提供一种新品识别方法、装置、终端设备及存储介质，能在新品上架时，及时对陈列场景中的新品进行识别。
[0004]本专利技术一实施例提供一种新品识别方法，包括：
[0005]获取当前陈列场景中一包含新品的待识别陈列图像；
[0006]将所述待识别陈列图像输入商品检测模型中，以使商品检测模型输出待识别陈列图像中所有商品图片及其位置信息；其中，所述商品检测模型基于未包含新品的历史陈列图像进行训练得到；
[0007]将各所述商品图片依次输入新品识别模型中，以使新品识别模型对商品图片的类别进行识别，筛选出属于新品的商品图片；其中，所述新品识别模型基于未上架时新品的产品图片以及非新品的产品图片进行训练的得到；
[0008]根据类别为新品类的商品图片及对应商品图片的位置信息，识别出待识别陈列图像中的新品。
[0009]进一步地，通过以下方式构建新品识别模型：
[0010]获取若干标注有类别的第一样本图片；其中，所述样本图片包括：未上架时新品的产品图片以及非新品的产品图片；
[0011]构建初始新品识别模型，以标注有类别的第一样本图片为训练样本，对初始新品识别模型进行训练，生成新品识别模型。
[0012]进一步地，通过以下方式构建商品检测模型：
[0013]获取若干标注有商品位置的第二样本图片；其中，所述第二样本图片包括：未包含新品的历史陈列图像；
[0014]构建物体检测模型，以标注有商品位置的第二样本图片为输入，以标注有商品位置的第二样本图片为训练样本，对物体检测模型进行训练，生成商品检测模型。
[0015]进一步地，获取若干第一样本图片，包括：
[0016]多角度拍摄每一类新品，得到每一类新品对应的若干新品的产品图片；
[0017]获取已知类别且非新品的产品图片中每一类商品的若干图片，获取与新品铺货共现关系强的未知类别且非新品的若干图片，生成若干非新品的产品图片；
[0018]根据每一类新品对应的若干新品的产品图片和非新品的产品图片生成若干第一样本图片。
[0019]进一步地，在获取若干第一样本图片之后，还包括：
[0020]提取每一第一样本图片的特征向量；
[0021]计算每一类新品的产品图片与每一类非新品的若干的产品图片的特征距离；
[0022]构建第一样本集和第二样本集；
[0023]若第一样本图片中一非新品且已知类别的所有产品图片都与一新品类别中心特征向量距离最小，且特征距离小于边界阈值，则将对应非新品的所有产品图片加入对应新品类别的第一样本集；
[0024]若第一样本图片中一张非新品且未知类别的图片与一新品类别中心特征向量距离最小，且特征距离小于边界阈值，则将对应非新品的图片加入对应新品类别的第二样本集；
[0025]从第一样本集中随机选取图片添加至第二样本集，生成第三样本集；其中，添加的图片数量需满足以下公式：
[0026]x<2*M―y
[0027]x为从第一样本集添加至第二样本集的图片数量，y为第二样本集包含的图片数量，M为新品的产品图片数量；
[0028]根据其余未添加至第一样本集的非新品已知类别产品图片，生成第四样本集；以第三样本集、第四样本集和若干新品的产品图片生成训练集；其中，第三样本集的每一类非新品产品图片，标记为相似类；第四样本集的每一类非新品产品图片，统一标记为同一类；
[0029]所述构建初始新品识别模型，以标注有类别的第一样本图片为训练样本，对初始新品识别模型进行训练，生成新品识别模型，包括：
[0030]构建初始新品识别模型，以训练集中选取的图片子集为训练样本，对初始新品识别模型进行训练，生成新品识别模型。
[0031]进一步地，对初始新品识别模型进行训练，还包括：
[0032]以自增强和混合增强中任意一种或其组合的方式对训练样本的数据进行数据增强。
[0033]在上述方法项实施例的基础上，本专利技术对应提供了装置项实施例；
[0034]本专利技术一实施例对应提供了一种新品识别装置，包括：数据获取模块、数据处理模块、新品识别模块和识别结果输出模块；
[0035]所述数据获取模块，用于获取当前陈列场景中一包含新品的待识别陈列图像；
[0036]所述数据处理模块，用于将所述待识别陈列图像输入商品检测模型中，以使商品检测模型输出待识别陈列图像中所有商品图片及其位置信息；其中，所述商品检测模型基于未包含新品的历史陈列图像进行训练得到；
[0037]所述新品识别模块，用于将各所述商品图片依次输入新品识别模型中，以使新品识别模型对商品图片的类别进行识别，筛选出属于新品的商品图片；其中，所述新品识别模
型基于未上架时新品的产品图片以及非新品的产品图片进行训练的得到；
[0038]所述识别结果输出模块，用于根据类别为新品类的商品图片及对应商品图片的位置信息，识别出待识别陈列图像中的新品。
[0039]本专利技术另一实施例提供了一种终端设备，包括处理器、存储器以及存储在所述存储器中且被配置为由所述处理器执行的计算机程序，所述处理器执行所述计算机程序时实现上述专利技术实施例所述的一种新品识别方法。
[0040]本专利技术另一实施例提供了一种存储介质，所述存储介质包括存储的计算机程序，其中，在所述计算机程序运行时控制所述存储介质所在设备执行上述专利技术实施例所述的一种新品识别方法。
[0041]通过实施本专利技术具有如下有益效果：本专利技术提供了一种新品识别方法、装置、终端设备及存储介质，该新品识别方法通过在新品上架前，基于未包含新品的历史陈列图像训练一商品检测模型；基于新品的产品图片和非新品的产品图片训练一新品识别模型；使得在新品上架后，在获取到当前陈列场景中一包含新品的待识别陈列图像时，通过商品检测模型对将待识别陈列图像中的商品图片分离出来，并将分离出来的商品图片输入到新品识别模型进行类别检测，最终基于新品识别模型检测的商品类别和对应商品的位置信息识别出待识别陈列图像中的新品；通过收集新品上架前的产品图片、历史陈列图像和非新品的产品图片，在新品上架前构建好商品检测模型和新品识别模型，使得新品在上架后，能及时对陈本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种新品识别方法，其特征在于，包括：获取当前陈列场景中一包含新品的待识别陈列图像；将所述待识别陈列图像输入商品检测模型中，以使商品检测模型输出待识别陈列图像中所有商品图片及其位置信息；其中，所述商品检测模型基于未包含新品的历史陈列图像进行训练得到；将各所述商品图片依次输入新品识别模型中，以使新品识别模型对商品图片的类别进行识别，筛选出属于新品的商品图片；其中，所述新品识别模型基于未上架时新品的产品图片以及非新品的产品图片进行训练的得到；根据类别为新品的商品图片及对应商品图片的位置信息，识别出待识别陈列图像中的新品。2.如权利要求1所述的一种新品识别方法，其特征在于，通过以下方式构建新品识别模型：获取若干标注有类别的第一样本图片；其中，所述样本图片包括：未上架时新品的产品图片以及非新品的产品图片；构建初始新品识别模型，以标注有类别的第一样本图片为训练样本，对初始新品识别模型进行训练，生成新品识别模型。3.如权利要求1所述的一种新品识别方法，其特征在于，通过以下方式构建商品检测模型：获取若干标注有商品位置的第二样本图片；其中，所述第二样本图片包括：未包含新品的历史陈列图像；构建物体检测模型，以标注有商品位置的第二样本图片为输入，以标注有商品位置的第二样本图片为训练样本，对物体检测模型进行训练，生成商品检测模型。4.如权利要求2所述的一种新品识别方法，其特征在于，获取若干第一样本图片，包括：多角度拍摄每一类新品，得到每一类新品对应的若干新品的产品图片；获取已知类别且非新品的产品图片中每一类商品的若干图片，获取与新品铺货共现关系强的未知类别且非新品的若干图片，生成若干非新品的产品图片；根据每一类新品对应的若干新品的产品图片和非新品的产品图片生成若干第一样本图片。5.如权利要求4所述的一种新品识别方法，其特征在于，在获取若干第一样本图片之后，还包括：提取每一第一样本图片的特征向量；计算每一类新品的产品图片与每一类非新品的若干的产品图片的特征距离；构建第一样本集和第二样本集；若第一样本图片中一非新品且已知类别的所有产品图片都与一新品类别中心特征向量距离最小，且特征距离小于边界阈值，则将对应非新品的所有产品图片加入对应新品类别的第一样本集；若第一样本图片中一张非新品且未知类别的图片与一新品类别中心特征向量距离最小，且特征距离小于边...

【专利技术属性】
技术研发人员：李德圆，丁明，王杰，许洁斌，
申请(专利权)人：广州市玄武无线科技股份有限公司，
类型：发明
国别省市：