一种食材识别方法、装置和设备制造方法及图纸

本申请公开了一种食材识别方法、装置和设备，本申请中预先训练完成的特征提取模型获取到食材图像的目标特征向量，并预先保存特征向量与食材信息的对应关系，确定出与目标特征向量匹配的设定数量的特征向量对应的每个第二食材信息，另外，基于预先训练完成的识别模型还可以获取到第一食材信息，从而根据第一食材信息和每个第二食材信息是否一致，确定目标食材信息。本申请中因为保存有特征向量与食材信息的对应关系，因此基于目标特征向量，可以确定对应的目标食材信息的每个第二食材信息，从而可以提高食材识别的识别率。而可以提高食材识别的识别率。而可以提高食材识别的识别率。

【技术实现步骤摘要】
一种食材识别方法、装置和设备


[0001]本申请涉及图像识别和图像检索
，尤其涉及一种食材识别方法、装置和设备。

技术介绍

[0002]随着智能冰箱行业的日益发展，食材管理越来越成为智能冰箱行业的研究热点，现有的智能冰箱生产厂家都推出了基于图像识别的智能冰箱食材管理方案。而为了实现对智能冰箱内食材的管理，首先需要识别智能冰箱内食材的食材信息。
[0003]现有的食材识别的方法包括基于图像分类的食材识别方法和基于图像检测的食材识别方法。这两种方法的区别在于是否进行食材位置的定位，但这两种方法在识别食材时，都是通过大量的数据标注以及模型训练，生成一个识别模型，基于该识别模型实现对食材的识别。
[0004]例如，现有的基于图像的食材识别方法中，采用图像采集装置采集智能冰箱内食材的图像，并根据食材模型对该图像进行识别以获得食材信息，食材模型为通过深度学习算法训练而获得的神经网络模型。
[0005]现有技术中，无论是基于图像分类的食材识别方法,还是基于图像检测的食材识别方法，由于食材种类繁多且新品种食材层出不穷，并且即使是同一种类的食材的外观也会千差万别，从而导致识别模型不能基于实际生活中的所有食材进行训练，使得识别模型的拒识率较高。

技术实现思路

[0006]本申请提供了一种食材识别方法、装置、设备和介质，用以解决现有方法中识别模型的拒识率较高的问题。
[0007]第一方面，本申请提供了一种食材识别方法，所述方法包括：
[0008]基于预先训练完成的特征提取模型，获取输入的食材图像的目标特征向量，并基于预先训练完成的识别模型，识别所述食材图像对应的第一食材信息；
[0009]根据所述目标特征向量和预先保存的特征向量与食材信息的对应关系，确定与所述目标特征向量匹配的设定数量特征向量对应的每个第二食材信息；
[0010]根据所述第一食材信息与所述每个第二食材信息是否一致，确定所述食材图像对应的目标食材信息并控制智能冰箱输出所述目标食材信息。
[0011]进一步地，所述根据所述目标特征向量和预先保存的特征向量与食材信息的对应关系，确定与所述目标特征向量匹配的设定数量特征向量对应的每个第二食材信息，包括：
[0012]根据所述目标特征向量和预先保存的每个特征向量，确定所述目标特征向量与每个特征向量的相似度；
[0013]将相似度满足条件的设定数量的特征向量，确定为与所述目标特征向量匹配的设定数量的特征向量，将所述设定数量的特征向量对应的每个食材信息确定为每个第二食材
信息。
[0014]进一步地，所述根据所述第一食材信息与所述每个第二食材信息是否一致，确定所述食材图像对应的目标食材信息，包括：
[0015]判断所述第一食材信息与所述每个第二食材信息中的任一第二食材信息是否一致；
[0016]若是，则将所述第一食材信息确定为所述食材图像对应的目标食材信息；
[0017]若否，则根据所述目标特征向量与每个第二食材信息对应的特征向量的相似度，根据相似度最高的特征向量对应的第二食材信息，确定所述食材图像对应的目标食材信息。
[0018]进一步地，所述根据相似度最高的特征向量对应的第二食材信息，确定所述食材图像对应的目标食材信息，包括：
[0019]将相似度最高的特征向量对应的第二食材信息，确定为所述食材图像对应的目标食材信息；或
[0020]将相似度最高的特征向量对应的第二食材信息和所述第一食材信息，确定为所述食材图像对应的目标食材信息。
[0021]进一步地，所述控制智能冰箱输出所述目标食材信息，包括：
[0022]控制智能冰箱的显示屏显示所述目标食材信息；和/或，
[0023]控制所述智能冰箱语音播报所述目标食材信息。
[0024]进一步地，所述方法还包括：
[0025]若接收到对输出的所述目标食材信息的更正指示；
[0026]接收输入的修改后的目标食材的信息，并对应保存所述目标特征向量和修改后的目标食材信息。
[0027]进一步地，训练所述识别模型的过程包括：
[0028]获取样本集中的任一样本图像及所述样本图像对应的第一标签信息，其中所述第一标签信息用于标识所述样本图像中包含的食材信息；
[0029]通过原始识别模型，获取所述样本图像的第二标签信息；
[0030]根据所述第一标签信息和所述第二标签信息，对所述原始识别模型中的各参数的参数值进行调整。
[0031]进一步地，确定特征向量与食材信息的对应关系的过程包括：
[0032]控制智能冰箱的图像采集装置采集样本图像；
[0033]基于所述预先训练完成的特征提取模型，确定所述样本图像的特征向量；
[0034]对应保存所述特征向量及接收到的食材信息。
[0035]第二方面，本申请提供了一种食材识别装置，所述装置包括：
[0036]获取模块，用于基于预先训练完成的特征提取模型，获取输入的食材图像的目标特征向量，并基于预先训练完成的识别模型，识别所述食材图像对应的第一食材信息；
[0037]确定模块，用于根据所述目标特征向量和预先保存的特征向量与食材信息的对应关系，确定与所述目标特征向量匹配的设定数量特征向量对应的每个第二食材信息；根据所述第一食材信息与所述每个第二食材信息是否一致，确定所述食材图像对应的目标食材信息；
[0038]控制模块，用于控制智能冰箱输出所述目标食材信息。
[0039]进一步地，所述确定模块，具体用于根据所述目标特征向量和预先保存的每个特征向量，确定所述目标特征向量与每个特征向量的相似度；
[0040]将相似度满足条件的设定数量的特征向量，确定为与所述目标特征向量匹配的设定数量的特征向量，将所述设定数量的特征向量对应的每个食材信息确定为每个第二食材信息。
[0041]进一步地，所述确定模块，具体还用于判断所述第一食材信息与所述每个第二食材信息中的任一第二食材信息是否一致；
[0042]若是，则将所述第一食材信息确定为所述食材图像对应的目标食材信息；
[0043]若否，则根据所述目标特征向量与每个第二食材信息对应的特征向量的相似度，根据相似度最高的特征向量对应的第二食材信息，确定所述食材图像对应的目标食材信息。
[0044]进一步地，所述确定模块，具体用于若所述第一食材信息与所述每个第二食材信息中的任一第二食材信息均不一致，将相似度最高的特征向量对应的第二食材信息，确定为所述食材图像对应的目标食材信息；或将相似度最高的特征向量对应的第二食材信息和所述第一食材信息，确定为所述食材图像对应的目标食材信息。
[0045]进一步地，所述控制模块，具体用于控制智能冰箱的显示屏显示所述目标食材信息；和/或，控制所述智能冰箱语音播报所述目标食材信息。
[0046]进一步地，所述装置还包括：接收模块，用于若接收到对输出的所述目标食材信息的更正指示；本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种食材识别方法，其特征在于，所述方法包括：基于预先训练完成的特征提取模型，获取输入的食材图像的目标特征向量，并基于预先训练完成的识别模型，识别所述食材图像对应的第一食材信息；根据所述目标特征向量和预先保存的特征向量与食材信息的对应关系，确定与所述目标特征向量匹配的设定数量特征向量对应的每个第二食材信息；根据所述第一食材信息与所述每个第二食材信息是否一致，确定所述食材图像对应的目标食材信息并控制智能冰箱输出所述目标食材信息。2.根据权利要求1所述的方法，其特征在于，所述根据所述目标特征向量和预先保存的特征向量与食材信息的对应关系，确定与所述目标特征向量匹配的设定数量特征向量对应的每个第二食材信息，包括：根据所述目标特征向量和预先保存的每个特征向量，确定所述目标特征向量与每个特征向量的相似度；将相似度满足条件的设定数量的特征向量，确定为与所述目标特征向量匹配的设定数量的特征向量，将所述设定数量的特征向量对应的每个食材信息确定为每个第二食材信息。3.根据权利要求1或2所述的方法，其特征在于，所述根据所述第一食材信息与所述每个第二食材信息是否一致，确定所述食材图像对应的目标食材信息，包括：判断所述第一食材信息与所述每个第二食材信息中的任一第二食材信息是否一致；若是，则将所述第一食材信息确定为所述食材图像对应的目标食材信息；若否，确定所述目标特征向量与每个第二食材信息对应的特征向量的相似度，根据相似度最高的特征向量对应的第二食材信息，确定所述食材图像对应的目标食材信息。4.根据权利要求3所述的方法，其特征在于，所述根据相似度最高的特征向量对应的第二食材信息，确定所述食材图像对应的目标食材信息，包括：将相似度最高的特征向量对应的第二食材信息，确定为所述食材图像对应的目标食材信息；或将相似度最高的特征向量对应的第二食材信息和所述第一食材信息，确定为所述食材图像对应的目标食材信息。5....

【专利技术属性】
技术研发人员：曲磊，李正义，赵启东，高桢，高语函，孙菁，谢飞学，高雪松，陈维强，
申请(专利权)人：青岛海信电子产业控股股份有限公司，
类型：发明
国别省市：