【技术实现步骤摘要】
本申请涉及数据处理，尤其涉及一种对象识别系统、方法、电子设备及存储介质。
技术介绍
1、随着科学技术的进步和人工智能的发展，智能算法也越来越多的应用到日常生活中，特别是对于家用酒柜而言，作为使用较高的日常家电之一，其智能化发展是至关重要的，而智能化的关键问题，就在于对日常生活提供便利，比如对酒柜中酒的识别及自动库存管理。
2、现有酒柜的功能和结构较简单，对酒柜中的酒进行识别时，识别结果不准确，且该酒柜无法对酒柜中存储的酒的库存进行管理。
技术实现思路
1、本申请提供一种对象识别系统、方法、电子设备及存储介质，用以解决对酒柜中的酒进行识别时，识别结果不准确，且无法对酒柜中存储的酒的库存进行管理的问题。
2、第一方面，本申请提供一种对象识别系统，该系统包括酒柜和库存管理设备，该酒柜包括摄像头、重力传感器、麦克风、处理器和通信单元。
3、摄像头，用于采集存储在酒柜中的对象的图像数据。
4、重力传感器，用于采集该对象的重量数据。
5、麦克风，用于采集语音数据。
6、处理器，用于分别提取图像数据、重量数据和语音数据的特征向量，并将图像数据的特征向量、重量数据的特征向量和语音数据的特征向量进行多模态数据融合，基于融合后的数据识别该对象在库存管理设备中的名称，以及，基于重量数据得到该对象的数量。
7、通信单元，用于向库存管理设备发送该对象的名称和该对象的数量。
8、库存管理设备，用于根据该对象的名称和
9、可选的，处理器，具体用于将融合后的数据输入预先训练的模型，得到该对象在库存管理设备中的名称。
10、其中，模型训练时采用的样本中包括：该对象的图像数据样本、该对象的重量数据样本和该对象的语音数据样本。
11、可选的，通信单元，还用于接收来自库存管理设备的该对象的应有库存值。
12、处理器，还用于基于重量数据判断该对象的数量是否达到应有库存值。
13、通信单元，还用于在该对象的数量未达到应有库存值时，向库存管理设备发送补货通知信息。
14、可选的，该酒柜还包括显示屏。
15、显示屏，用于在该对象的数量未达到应有库存值时，显示补货提示信息。
16、可选的，处理器，具体用于在将图像数据的特征向量、重量数据的特征向量和语音数据的特征向量进行多模态数据融合时，满足公式(1)、(2)、(3)和(4)：
17、
18、
19、
20、
21、其中，hx表示图像数据的特征向量，hy表示重量数据的特征向量，hz表示语音数据的特征向量，h1表示图像数据的特征向量和重量数据的特征向量的外积，h2表示图像数据的特征向量和语音数据的特征向量的外积，h3表示重量数据的特征向量和语音数据的特征向量的外积，hm表示融合后的数据。
22、可选的，该酒柜还包括温度传感器和温度调节设备。
23、温度传感器，用于采集酒柜中的温度。
24、处理器，还用于判断酒柜中的温度是否符合该对象的储存温度，在酒柜中的温度不符合该对象的储存温度时，控制温度调节设备调节酒柜中的温度，直到酒柜中的温度符合该对象的储存温度。
25、第二方面，本申请提供一种对象识别方法，应用于对象识别系统，该对象识别系统包括酒柜和库存管理设备，该酒柜包括摄像头、重力传感器、麦克风、处理器和通信单元，包括：
26、通过摄像头采集存储在酒柜中的对象的图像数据，通过重力传感器采集该对象的重量数据，以及通过麦克风采集语音数据。
27、通过处理器分别提取图像数据、重量数据和语音数据的特征向量，并通过处理器将图像数据的特征向量、重量数据的特征向量和语音数据的特征向量进行多模态数据融合，基于融合后的数据，通过处理器识别该对象在库存管理设备中的名称，以及，基于重量数据，通过处理器得到该对象的数量。
28、控制通信单元向库存管理设备发送该对象的名称和对象的数量。
29、基于该对象的名称和该对象的数量，通过库存管理设备自动更新该对象的库存。
30、可选的，基于融合后的数据，通过处理器识别该对象在库存管理设备中的名称，包括：通过处理器将融合后的数据输入预先训练的模型，得到该对象在库存管理设备中的名称。
31、其中，模型训练时采用的样本中包括：该对象的图像数据样本、该对象的重量数据样本和该对象的语音数据样本。
32、可选的，控制通信单元接收来自库存管理设备的该对象的应有库存值。
33、基于重量数据，通过处理器判断该对象的数量是否达到应有库存值。
34、在该对象的数量未达到应有库存值时，通过通信单元向库存管理设备发送补货通知信息。
35、可选的，该酒柜还包括显示屏。
36、在该对象的数量未达到应有库存值时，通过显示屏显示补货提示信息。
37、可选的，通过处理器在对将图像数据的特征向量、重量数据的特征向量和语音数据的特征向量进行多模态数据融合时，满足公式(1)、(2)、(3)和(4)：
38、
39、
40、
41、
42、其中，hx表示图像数据的特征向量，hy表示重量数据的特征向量，hz表示语音数据的特征向量，h1表示图像数据的特征向量和重量数据的特征向量的外积，h2表示图像数据的特征向量和语音数据的特征向量的外积，h3表示重量数据的特征向量和语音数据的特征向量的外积，hm表示融合后的数据。
43、可选的，该酒柜还包括温度传感器和温度调节设备。
44、通过温度传感器采集酒柜中的温度。
45、通过处理器判断酒柜中的温度是否符合该对象的储存温度，在酒柜中的温度不符合该对象的储存温度时，通过处理器控制温度调节设备调节酒柜中的温度，直到酒柜中的温度符合该对象的储存温度。
46、第三方面，本申请提供一种电子设备，包括：存储器和处理器；
47、存储器，用于存储计算机程序。
48、处理器，用于读取存储器存储的计算机程序，并根据存储器中的计算机程序执行上述第二方面的对象识别方法。
49、第四方面，本申请提供一种计算机可读存储介质，该计算机可读存储介质存储有计算机可执行指令，该计算机可执行指令被处理器执行时用于实现如上述第二方面的对象识别方法。
50、第五方面，本申请实施例还提供了一种计算机程序产品，该计算机程序产品包括计算机程序，该计算机程序被处理器执行时，实现上述第二方面的对象识别方法。
51、本申请提供的对象识别系统、方法、电子设备及存储介质，该系统包括酒柜和库存管理设备，该酒柜包括摄像头、重力传感器、麦克风、处理器和通信单元；摄像头，用于采集存储在酒柜中的对象的图像数据；重力传感器，用于采集该对象的重本文档来自技高网...
【技术保护点】
1.一种对象识别系统，其特征在于，所述系统包括酒柜和库存管理设备，所述酒柜包括摄像头、重力传感器、麦克风、处理器和通信单元；
2.根据权利要求1所述的系统，其特征在于，
3.根据权利要求2所述的系统，其特征在于，
4.根据权利要求3所述的系统，其特征在于，所述酒柜还包括显示屏；
5.根据权利要求1-4任一项所述的系统，其特征在于，
6.根据权利要求5所述的系统，其特征在于，所述酒柜还包括温度传感器和温度调节设备；
7.一种对象识别方法，其特征在于，应用于对象识别系统，所述系统包括酒柜和库存管理设备，所述酒柜包括摄像头、重力传感器、麦克风、处理器和通信单元；
8.一种电子设备，其特征在于，包括：存储器和处理器；
9.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质中存储有计算机可执行指令，所述计算机可执行指令被处理器执行时用于实现如上述权利要求7所述的对象识别方法。
10.一种计算机程序产品，其特征在于，所述计算机程序产品包括计算机程序，所述计算机程序被处理器执行时
...【技术特征摘要】
1.一种对象识别系统，其特征在于，所述系统包括酒柜和库存管理设备，所述酒柜包括摄像头、重力传感器、麦克风、处理器和通信单元；
2.根据权利要求1所述的系统，其特征在于，
3.根据权利要求2所述的系统，其特征在于，
4.根据权利要求3所述的系统，其特征在于，所述酒柜还包括显示屏；
5.根据权利要求1-4任一项所述的系统，其特征在于，
6.根据权利要求5所述的系统，其特征在于，所述酒柜还包括温度传感器和温度调节设备；
7.一种对象识别方法，其特征在...
【专利技术属性】
技术研发人员：刘彦甲，
申请(专利权)人：青岛海尔科技有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。