本申请关于一种物品识别方法、装置、电子设备及存储介质，其中，方法包括：获取待识别物品的目标图像与至少一个描述字段；对目标图像进行特征提取，以得到待识别物品的图像特征；根据至少一个描述字段，确定待识别物品的文本特征；根据图像特征与文本特征，生成待识别物品对应的多个局部图文融合特征，进而生成待识别物品对应的目标图文融合特征，根据目标图文融合特征，确定待识别物品对应的海关编码，由此，根据物品的图像特征和文本特征融合得到的多个局部图文融合特征确定待识别物品对应的目标图文融合特征，并根据目标图文融合特征对物品进行识别，这种通过多模态数据融合的方式对物品进行识别，有效地提高了物品的海关编码的识别准确率。的识别准确率。的识别准确率。
【技术实现步骤摘要】
物品识别方法、装置、电子设备及存储介质
[0001]本申请涉及数据处理
，尤其涉及一种物品识别方法、装置、电子设备及存储介质。
技术介绍
[0002]目前，在物品出入境时，需要工作人员人工识别物品的海关编码，但是，随着互联网国际电商的崛起，每日通关的物品(如，商品)数据量非常巨大，识别物品的物品信息难度也越来越大。
[0003]相关技术中，在识别物品的海关编码时，采用物品的单一模态的数据进行识别，例如物品的图像数据，但由于物品页面的制作质量存在问题，仅依赖单一模态数据进行物品的海关编码识别，存在准确率低的问题。
技术实现思路
[0004]本申请提供一种物品识别方法、装置、电子设备及存储介质，以至少在一定程度上解决相关技术中的技术问题之一。本申请的技术方案如下：
[0005]根据本申请实施例的第一方面，提供一种物品识别方法，包括：获取待识别物品的目标图像与所述待识别物品的至少一个描述字段；对所述目标图像进行特征提取，以得到所述待识别物品的图像特征；根据所述至少一个描述字段，确定所述待识别物品的文本特征；根据所述图像特征与所述文本特征，生成所述待识别物品对应的多个局部图文融合特征，并根据所述多个局部图文融合特征，生成所述待识别物品对应的目标图文融合特征；根据所述目标图文融合特征对所述待识别物品进行类别预测，以确定所述待识别物品的预测类别，并根据所述待识别物品的预测类别，确定所述待识别物品对应的海关编码。
[0006]可选地，所述根据所述图像特征与所述文本特征，生成所述待识别物品对应的多个局部图文融合特征，并根据所述多个局部图文融合特征，生成所述待识别物品对应的目标图文融合特征：基于多个设定的投影矩阵，对所述图像特征与所述文本特征进行相乘，以得到多个局部图文融合特征；对所述多个局部图文融合特征进行求和池化，以得到全局图文融合特征；对所述全局图文融合特征进行矢量展开，以得到目标图文融合特征。
[0007]可选地，所述根据所述目标图文融合特征对所述待识别物品进行类别预测，以确定所述待识别物品的预测类别，并根据所述待识别物品的预测类别，确定所述待识别物品对应的海关编码，包括：采用经过训练的目标识别模型中的第一预测层对所述目标图文融合特征进行类别预测，以得到所述待识别物品所属的目标类别；采用所述目标识别模型中的第二预测层根据所述待识别物品所属的目标类别进行海关编码预测，以得到所述待识别物品的海关编码；其中，所述目标识别模型已学习到目标图文融合特征与海关编码之间的对应关系。
[0008]可选地，所述目标识别模型经过以下步骤训练得到：获取样本物品的样本图像以及至少一个样本描述字段，对所述样本物品进行类别标注，以得到所述样本物品的标注类
别，并根据所述标注类别确定所述样本物品的标注海关编码；对所述样本图像进行特征提取，以得到所述样本物品的样本图像特征；根据所述至少一个样本描述字段，确定所述样本物品的样本文本特征；根据所述样本图像特征以及所述样本文本特征进行融合，以得到样本图文融合特征；采用初始的目标识别模型中的第一预测层对所述样本图文融合特征进行类别预测，以得到所述样本物品的预测类别；采用所述初始的目标识别模型中的第二预测层根据所述预测类别进行海关编码预测，以得到所述样本物品的预测海关编码；根据所述样本商品的预测类别和标注类别，以及标注海关编码和预测海关编码，对所述初始的目标识别模型进行训练。
[0009]可选地，所述根据所述样本商品的预测类别和标注类别，以及标注海关编码和预测海关编码，对所述初始的目标识别模型进行训练，包括：根据所述样本物品的预测类别和标注类别之间的差异，生成第一子损失函数值；根据所述样本物品的标注海关编码和预测海关编码之间的差异，生成第二子损失函数值；根据所述第一子损失函数值和所述第二子损失函数值，对所述初始的目标识别模型进行训练。
[0010]可选地，所述根据所述至少一个描述字段，确定所述待识别物品的文本特征，包括：对所述至少一个描述字段进行拼接，以得到描述文本；根据所述描述文本，确定所述待识别物品的文本特征。
[0011]可选地，所述根据所述描述文本，确定所述待识别物品的文本特征，包括：对所述描述文本进行分词处理，以得到所述描述文本中的多个分词；确定所述多个分词中是否存在处于设定的停用词列表中的目标分词；在所述多个分词中存在所述目标分词的情况下，将所述描述文本中的目标分词删除，以得到目标描述文本；对所述目标描述文本进行特征提取，以得到所述待识别物品的文本特征。
[0012]根据本申请实施例的第二方面，提供了另一种物品识别装置，包括：第一获取模块，用于获取待识别物品的目标图像与所述待识别物品的至少一个描述字段；第一提取模块，用于对所述目标图像进行特征提取，以得到所述待识别物品的图像特征；第一确定模块，用于根据所述至少一个描述字段，确定所述待识别物品的文本特征；第一融合模块，用于根据所述图像特征与所述文本特征，生成所述待识别物品对应的多个局部图文融合特征，并根据所述多个局部图文融合特征，生成所述待识别物品对应的目标图文融合特征；识别模块，用于根据所述目标图文融合特征对所述待识别物品进行类别预测，以确定所述待识别物品的预测类别，并根据所述待识别物品的预测类别，确定所述待识别物品对应的海关编码。
[0013]可选地，所述第一融合模块，用于：基于多个设定的投影矩阵，对所述图像特征与所述文本特征进行相乘，以得到多个局部图文融合特征；对所述多个局部图文融合特征进行求和池化，以得到全局图文融合特征；对所述全局图文融合特征进行矢量展开，以得到目标图文融合特征。
[0014]可选地，所述识别模块，用于：采用经过训练的目标识别模型中的第一预测层对所述目标图文融合特征进行类别预测，以得到所述待识别物品所属的目标类别；采用所述目标识别模型中的第二预测层根据所述待识别物品所属的目标类别进行海关编码预测，以得到所述待识别物品的海关编码；其中，所述目标识别模型已学习到目标图文融合特征与海关编码之间的对应关系。
[0015]可选地，所述目标识别模型经过以下模块训练得到：第二获取模块，用于：获取样本物品的样本图像以及至少一个样本描述字段，对所述样本物品进行类别标注，以得到所述样本物品的标注类别，并根据所述标注类别确定所述样本物品的标注海关编码；第二提取模块，用于对所述样本图像进行特征提取，以得到所述样本物品的样本图像特征；第二确定模块，用于根据所述至少一个样本描述字段，确定所述样本物品的样本文本特征；第二融合模块，用于根据所述样本图像特征以及所述样本文本特征进行融合，以得到样本图文融合特征；第一预测模块，用于采用初始的目标识别模型中的第一预测层对所述样本图文融合特征进行类别预测，以得到所述样本物品的预测类别；第二预测模块，用于采用所述初始的目标识别模型中的第二预测层根据所述预测类别进行海关编码预测，以得到所述样本物品的预测海关编码；训练模块，用于根据所述样本商品的预测类别和标注类别，以及标注海关编码和预测海关编码，对所述初始的目标识别模型进行训练。
...
【技术保护点】
【技术特征摘要】
1.一种物品识别方法，其特征在于，包括：获取待识别物品的目标图像与所述待识别物品的至少一个描述字段；对所述目标图像进行特征提取，以得到所述待识别物品的图像特征；根据所述至少一个描述字段，确定所述待识别物品的文本特征；根据所述图像特征与所述文本特征，生成所述待识别物品对应的多个局部图文融合特征，并根据所述多个局部图文融合特征，生成所述待识别物品对应的目标图文融合特征；根据所述目标图文融合特征对所述待识别物品进行类别预测，以确定所述待识别物品的预测类别，并根据所述待识别物品的预测类别，确定所述待识别物品对应的海关编码。2.根据权利要求1所述的方法，其特征在于，所述根据所述图像特征与所述文本特征，生成所述待识别物品对应的多个局部图文融合特征，并根据所述多个局部图文融合特征，生成所述待识别物品对应的目标图文融合特征，包括：基于多个设定的投影矩阵，对所述图像特征与所述文本特征进行相乘，以得到多个局部图文融合特征；对所述多个局部图文融合特征进行求和池化，以得到全局图文融合特征；对所述全局图文融合特征进行矢量展开，以得到目标图文融合特征。3.根据权利要求1所述的方法，其特征在于，所述根据所述目标图文融合特征对所述待识别物品进行类别预测，以确定所述待识别物品的预测类别，并根据所述待识别物品的预测类别，确定所述待识别物品对应的海关编码，包括：采用经过训练的目标识别模型中的第一预测层对所述目标图文融合特征进行类别预测，以得到所述待识别物品所属的目标类别；采用所述目标识别模型中的第二预测层根据所述待识别物品所属的目标类别进行海关编码预测，以得到所述待识别物品的海关编码；其中，所述目标识别模型已学习到目标图文融合特征与海关编码之间的对应关系。4.根据权利要求3所述的方法，其特征在于，所述目标识别模型经过以下步骤训练得到：获取样本物品的样本图像以及至少一个样本描述字段，对所述样本物品进行类别标注，以得到所述样本物品的标注类别，并根据所述标注类别确定所述样本物品的标注海关编码；对所述样本图像进行特征提取，以得到所述样本物品的样本图像特征；根据所述至少一个样本描述字段，确定所述样本物品的样本文本特征；根据所述样本图像特征以及所述样本文本特征进行融合，以得到样本图文融合特征；采用初始的目标识别模型中的第一预测层对所述样本图文融合特征进行类别预测，以得到所述样本物品的预测类别；采用所述初始的目标识别模型中的第二预测层根据所述预测类别进行海关编码预测，以得到所述...
【专利技术属性】
技术研发人员：杨恒，郑影，高华，王杨俊杰，王湾湾，尤江华，
申请(专利权)人：中电金信软件上海有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。