本申请公开了一种商品标注方法、装置及存储介质。其中，方法包括：利用预先训练的目标检测模型，对待标注商品的图像信息进行商品检测，得到多个商品框的商品框图像以及与每个商品框图像对应的初始类别信息；对每个商品框图像进行特征提取，确定各个商品框图像的特征点和对应的描述子，并对相邻的两个商品框图像的特征点进行匹配，确定对应特征点的特征点匹配距离；根据检测结果确定商品框之间的关联关系；根据检测结果、特征点匹配距离和关联关系，确定每个商品框的字典对象；基于所有商品框的字典对象，利用预设的聚类算法，对多个商品框进行聚类分析，并根据聚类的结果确定每个商品框的最终类别信息。
【技术实现步骤摘要】
本申请涉及图像处理，特别是涉及一种商品标注方法、装置及存储介质。
技术介绍
1、随着人工智能和机器学习技术的发展，自动化的商品标注技术得到了广泛关注。这些技术运用于各种领域，如线下无人超市、商超数据分析等。目前的标注技术主要依赖人工标注和一些初级的自动化标注工具。人工标注是最传统的标注方法，依赖大量人工进行一张一张图片的标注。尽管精度较高，但成本和时间要求极高。初级的自动化标注工具采用简单的深度学习模型，即利用一些预训练的神经网络进行自动标注，例如yfaster r-cnn等，尽管效率有所提升，但在复杂多模态数据的标注上表现不佳。此外，结合人工和自动化标注的方式，先由自动算法进行初步标注，再由人工进行校准。这种方法仍然在效率和成本上存在较大挑战。
2、因此，现有的商品标注方案存在以下缺点：(1)成本高：人工标注的成本无法降低，尤其是在大规模数据处理中，显得尤为突出；(2)效率低：自动标注模型在处理复杂多模态数据时效率不高，传统方法依赖人工审核，整体效率较低；(3)耗时长：大规模数据标注过程极其耗时，影响项目进度；(4)准确性不足：现有自动标注工具在技术复杂度和标注准确性上有很大提升空间。
3、针对现有的商品标注方法存在成本高、效率低、耗时长以及准确性不足的问题，目前尚未提出有效的解决方案。
技术实现思路
1、本公开的实施例提供了一种商品标注方法、装置及存储介质。以至少解决现有技术中存在的商品标注方法存在成本高、效率低、耗时长以及准确性不足的技术问题。
2、根据本公开实施例的一个方面，提供了一种商品标注方法，包括：利用预先训练的目标检测模型，对待标注商品的图像信息进行商品检测，得到检测结果，其中所述检测结果包括多个商品框的商品框图像以及与每个所述商品框图像对应的初始类别信息；对每个商品框图像进行特征提取，确定各个商品框图像的特征点和对应的描述子，并对相邻的两个商品框图像的特征点进行匹配，确定对应特征点的特征点匹配距离；根据所述检测结果确定各个商品框之间的关联关系；根据所述检测结果、所述特征点匹配距离和所述关联关系，确定每个商品框的字典对象；其中所述字典对象用于存储与商品框相关的信息；基于所有商品框的字典对象，利用预设的聚类算法，对所述多个商品框进行聚类分析，并根据聚类的结果确定每个商品框的最终类别信息。
3、可选地，所述对每个商品框图像进行特征提取，确定各个商品框图像的特征点和对应的描述子，包括：将每个商品框图像转为灰度图，得到对应的商品框灰度图像；使用尺度不变特征变换算法，从每个商品框灰度图像中提取特征点和对应的描述子。
4、可选地，所述根据所述检测结果确定各个商品框之间的关联关系，包括：根据所述检测结果，计算每个商品框的中心点坐标；根据所述中心点坐标，计算任意两个商品框的中心距离；根据所述中心距离，确定各个商品框之间的关联关系；其中，当所述中心距离小于或者等于预设的第一阈值时，对应的商品框之间存在关联关系，反之则不存在关联关系。
5、可选地，所述根据所述检测结果、所述特征点匹配距离和所述关联关系，确定每个商品框的字典对象，包括：根据所述特征点匹配距离和所述关联关系，将所述多个商品框划分为孤立商品框和非孤立商品框；其中，当一个商品框与其他所有商品框的中心距离都大于所述第一阈值和/或特征点匹配距离都大于预设的第二阈值时，该商品框为孤立商品框；反之则为非孤立商品框；根据所述检测结果、所述特征点匹配距离和所述关联关系，确定孤立商品框和非孤立商品框的字典对象；其中，孤立商品框的字典对象的键为商品框的索引，值为该商品框的坐标信息、高度、宽度、初始类别信息、特征点和描述子；非孤立商品框的字典对象的键为商品框的索引，值为该商品框的坐标信息、高度、宽度、初始类别信息、与该商品框存在关联关系的目标商品框的索引及对应的特征点匹配距离。
6、可选地，所述基于所有商品框的字典对象，利用预设的聚类算法，对所述多个商品框进行聚类分析，并根据聚类的结果确定每个商品框的最终类别信息，包括：基于所有商品框的字典对象，构建一个特征矩阵；其中，所述特征矩阵的每一行代表一个商品框的特征向量，每一列代表一个特征，并且所述特征向量基于所述字典对象得到；利用optics算法，对所述特征矩阵进行聚类分析，并根据聚类的结果确定每个商品框的最终类别信息。
7、可选地，通过以下方式训练所述目标检测模型：收集商品的样本图像，并对所述样本图像中的商品进行标注；对标注后的样本图像进行数据增强，得到标注后的图像数据集；其中，所述数据增强的操作包括旋转、缩放、翻转；使用所述图像数据集对yolo模型进行训练，直至模型的性能满足要求，得到所述目标检测模型。
8、可选地，所述根据聚类的结果确定每个商品框的最终类别信息，包括：根据聚类的结果，为每个聚类赋予一个标签属性；其中，所述标签属性对应的类别为商品框的最终类别信息；通过可视化工具展示带有标签属性的图像信息。
9、根据本公开实施例的另一个方面，还提供了一种存储介质，存储介质包括存储的程序，其中，在程序运行时由处理器执行以上所述的方法。
10、根据本公开实施例的另一个方面，还提供了一种商品标注装置，包括：检测模块，用于利用预先训练的目标检测模型，对待标注商品的图像信息进行商品检测，得到检测结果，其中所述检测结果包括多个商品框的商品框图像以及与每个所述商品框图像对应的初始类别信息；特征提取模块，用于对每个商品框图像进行特征提取，确定各个商品框图像的特征点和对应的描述子，并对相邻的两个商品框图像的特征点进行匹配，确定对应特征点的特征点匹配距离；根据所述检测结果确定各个商品框之间的关联关系；字典对象确定模块，用于根据所述检测结果、所述特征点匹配距离和所述关联关系，确定每个商品框的字典对象；其中所述字典对象用于存储与商品框相关的信息；聚类模块，用于基于所有商品框的字典对象，利用预设的聚类算法，对所述多个商品框进行聚类分析，并根据聚类的结果确定每个商品框的最终类别信息。
11、根据本公开实施例的另一个方面，还提供了一种商品标注装置，包括：处理器；以及存储器，与所述处理器连接，用于为所述处理器提供处理以下处理步骤的指令：利用预先训练的目标检测模型，对待标注商品的图像信息进行商品检测，得到检测结果，其中所述检测结果包括多个商品框的商品框图像以及与每个所述商品框图像对应的初始类别信息；对每个商品框图像进行特征提取，确定各个商品框图像的特征点和对应的描述子，并对相邻的两个商品框图像的特征点进行匹配，确定对应特征点的特征点匹配距离；根据所述检测结果确定各个商品框之间的关联关系；根据所述检测结果、所述特征点匹配距离和所述关联关系，确定每个商品框的字典对象；其中所述字典对象用于存储与商品框相关的信息；基于所有商品框的字典对象，利用预设的聚类算法，对所述多个商品框进行聚类分析，并根据聚类的结果确定每个商品框的最终类别信息。
12、本申请的技术方案首先利用预先训练的目标检测模型，对待标注商品的图像信息进本文档来自技高网
...
【技术保护点】
1.一种商品标注方法，其特征在于，包括：
2.根据权利要求1所述的方法，其特征在于，所述对每个商品框图像进行特征提取，确定各个商品框图像的特征点和对应的描述子，包括：
3.根据权利要求1所述的方法，其特征在于，所述根据所述检测结果确定各个商品框之间的关联关系，包括：
4.根据权利要求3所述的方法，其特征在于，所述根据所述检测结果、所述特征点匹配距离和所述关联关系，确定每个商品框的字典对象，包括：
5.根据权利要求1所述的方法，其特征在于，所述基于所有商品框的字典对象，利用预设的聚类算法，对所述多个商品框进行聚类分析，并根据聚类的结果确定每个商品框的最终类别信息，包括：
6.根据权利要求1所述的方法，其特征在于，通过以下方式训练所述目标检测模型：
7.根据权利要求1所述的方法，其特征在于，所述根据聚类的结果确定每个商品框的最终类别信息，包括：
8.一种存储介质，其特征在于，所述存储介质包括存储的程序，其中，在所述程序运行时由处理器执行权利要求1至7中任意一项所述的方法。
9.一种商品标注装置，其特征在于，包括：
10.一种商品标注装置，其特征在于，包括：
...
【技术特征摘要】
1.一种商品标注方法，其特征在于，包括：
2.根据权利要求1所述的方法，其特征在于，所述对每个商品框图像进行特征提取，确定各个商品框图像的特征点和对应的描述子，包括：
3.根据权利要求1所述的方法，其特征在于，所述根据所述检测结果确定各个商品框之间的关联关系，包括：
4.根据权利要求3所述的方法，其特征在于，所述根据所述检测结果、所述特征点匹配距离和所述关联关系，确定每个商品框的字典对象，包括：
5.根据权利要求1所述的方法，其特征在于，所述基于所有商品框的字典对象，利用预设的聚类算法...
【专利技术属性】
技术研发人员：黄伊诺，张玥，周开龙，孙文海，
申请(专利权)人：上海小零网络科技有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。