家用电器、信息识别方法及装置制造方法及图纸

本申请公开了一种家用电器、信息识别方法及装置，用以识别用户对用于存放物品的家用电器的存取操作信息，在无需过多相机的情况下，提高整体检测准确率，节约成本。所述家用电器，包括：用于采集图像的相机；设置在所述相机的图像采集盲区的传感器；处理器，用于通过所述相机采集图像确定视觉检测结果，以及通过所述传感器确定盲区检测信息，并根据所述视觉检测结果和所述盲区检测信息，确定用户对所述家用电器内物品的存取动作和/或所述物品在所述家用电器内的存放位置。用电器内的存放位置。用电器内的存放位置。

【技术实现步骤摘要】
家用电器、信息识别方法及装置


[0001]本申请涉及智能家电
，尤其涉及家用电器、信息识别方法及装置。

技术介绍

[0002]在家用智能冰箱领域，为了帮助用户更好的管理冰箱内的食材，冰箱需要自动识别出冰箱内的食材及存放位置。
[0003]一种方案是用静态计算机视觉方案，也就是通过拍摄冰箱内的静态图片并分析食材种类。但是由于冰箱内食材存放比较满，外部堆放的食材会遮挡存放在内部的食材，造成识别结果不全面。
[0004]另一种方案是动态计算机视觉方案，也就是通过识别用户的动态取放动作，实时监测用户放入了什么食材和取出了什么食材。
[0005]动态视觉方案视野需要覆盖冰箱全空间，但是由于冰箱的箱体、门体、冷冻区多个位置视野较大，单个相机拍摄会导致冰箱隔板第一层和门体存在盲区，若单纯利用相机覆盖需要堆叠多个相机，多个相机之间的标记是难点问题，而且，视觉物体检测需要大量的计算资源，对硬件平台要求高，造成整体硬件成本高昂。

技术实现思路

[0006]本申请实施例提供了一种家用电器、信息识别方法及装置，用以识别用户对用于存放物品的家用电器的存取操作信息，在无需过多相机的情况下，提高整体检测准确率，节约成本。
[0007]本申请实施例提供的一种用于存放物品的家用电器包括：
[0008]用于采集图像的相机；
[0009]设置在所述相机的图像采集盲区的传感器；
[0010]处理器，用于通过所述相机采集图像确定视觉检测结果，以及通过所述传感器确定盲区检测信息，并根据所述视觉检测结果和所述盲区检测信息，确定用户对所述家用电器内物品的存取动作和/或所述物品在所述家用电器内的存放位置。
[0011]本申请实施例提供的上述家用电器，通过相机采集图像，确定视觉检测结果，并且通过设置在所述相机的图像采集盲区的传感器确定盲区检测信息，从而根据所述视觉检测结果和所述盲区检测信息，确定用户对所述家用电器内物品的存取动作和/或所述物品在所述家用电器内的存放位置，即实现了识别用户对用于存放物品的家用电器的存取操作信息，在无需过多相机的情况下，提高了整体检测准确率，节约成本。
[0012]可选地，所述处理器当通过所述视觉检测结果，确定所述图像采集盲区的预设感兴趣区域ROI内用户对所述家用电器内物品的存取动作时，进一步结合所述传感器的盲区检测信息，确定用户对所述家用电器内物品的存取动作和/或所述物品在所述家用电器内的存放位置。
[0013]可选地，所述处理器当通过所述视觉检测结果，确定所述图像采集盲区的预设感
兴趣区域ROI内用户对所述家用电器内物品的存取动作之后的预设时长内，等待通过所述传感器获取盲区检测信息，根据在所述预设时长内是否通过所述传感器获取了盲区检测信息，确定所述物品在所述家用电器内的存放位置。
[0014]可选地，所述预设时长是根据用户存取动作的速度确定的，所述用户存取动作的速度是通过对所述相机采集的图像进行检测确定的。
[0015]可选地，所述处理器还用于：当用户在所述图像采集盲区之外对所述家用电器内物品进行存取操作时，直接通过所述相机采集的图像，确定用户对所述家用电器内物品的存取动作和/或所述物品在所述家用电器内的存放位置。
[0016]可选地，所述处理器首先判断所述传感器是否检测到用户，如果是，则所述处理器确定存取位置为所述传感器安装位置，并结合所述相机采集的图像最终确定用户对所述家用电器内物品的存取动作和/或所述物品在所述家用电器内的存放位置；否则，所述处理器确定存取位置不是所述传感器安装位置，并结合所述相机采集的图像最终确定用户对所述家用电器内物品的存取动作和/或所述物品在所述家用电器内的存放位置。
[0017]可选地，所述家用电器为冰箱，所述相机安装在所述冰箱的上方，当用户打开冰箱门时，开始采集用户存取食材的图像；所述传感器安装在所述冰箱的门体隔层边缘。
[0018]本申请实施例提供的一种信息识别方法，包括：
[0019]通过安装在用于存放物品的家用电器上的相机确定视觉检测结果，并且，通过安装在所述家用电器上的传感器确定盲区检测信息，其中所述传感器设置在所述相机的图像采集盲区；
[0020]根据所述视觉检测结果和所述盲区检测信息，确定用户对所述家用电器内物品的存取动作和/或物品在所述家用电器内的存放位置。
[0021]本申请另一实施例提供了一种信息识别装置，其包括存储器和处理器，其中，所述存储器用于存储程序指令，所述处理器用于调用所述存储器中存储的程序指令，按照获得的程序执行上述任一种方法。
[0022]本申请另一实施例提供了一种计算机存储介质，所述计算机存储介质存储有计算机可执行指令，所述计算机可执行指令用于使所述计算机执行上述任一种方法。
附图说明
[0023]为了更清楚地说明本申请实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简要介绍，显而易见地，下面描述中的附图仅是本申请的一些实施例，对于本领域的普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
[0024]图1为本申请实施例提供的相机、传感器在冰箱上的位置示意图；
[0025]图2为本申请实施例提供的一种信息识别方法的流程示意图；
[0026]图3为本申请实施例提供的另一种信息识别方法的流程示意图；
[0027]图4—图7为本申请实施例提供的通过冰箱上的相机采集的用户存取食材的图像示意图；
[0028]图8为本申请实施例提供的一种家用电器的结构示意图；
[0029]图9为本申请实施例提供的一种信息识别方法的流程示意图；
Interest，ROI)的区域识别结果，可以得到对应位置的食材存取信息(即用户存入食材或者用户取出食材的信息)。例如，用户往隔板第一层存入食材，该位置是相机不可见的盲区，视觉检测通常通过预测获取结果可能为隔板第一层或者隔板第二层，第一层的传感器检测到有目标进入，该次操作为存入，位置为隔板第一层，若第一层的传感器没有检测到有目标进入，该次操作为存入，位置为隔板第二层，具体流程如图3所示。
[0039]下面给出具体实施例进一步的详细介绍。
[0040]硬件部分：
[0041]例如图1所示，本申请实施例在冰箱上方安装相机模组，当用户打开冰箱门时，模组弹出，触发获取食材存取过程中存取食材的图像。冰箱关门时，相机模组收回，图像采集结束。
[0042]在相机视野的盲区位置安装红外传感器，用以获取是否有物体进入或者退出该盲区位置。所述盲区位置，例如图1所示的冰箱门的上面第一层置物架(或称为隔层)附近的位置。
[0043]详细方案：
[0044]1、红外传感器安装设置：
[0045]红外传感器可以根据相机实际的盲区位置进行安装，以图1中的传感器安装为例，传感器安装在门体隔层边缘，安装位置可根据实际的需要进行调整，比如隔层内部、隔层长边、隔层短边，若安装在箱体内部本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种用于存放物品的家用电器，其特征在于，包括：用于采集图像的相机；设置在所述相机的图像采集盲区的传感器；处理器，用于通过所述相机采集图像确定视觉检测结果，以及通过所述传感器确定盲区检测信息，并根据所述视觉检测结果和所述盲区检测信息，确定用户对所述家用电器内物品的存取动作和/或所述物品在所述家用电器内的存放位置。2.根据权利要求1所述的家用电器，其特征在于，所述处理器当通过所述视觉检测结果，确定所述图像采集盲区的预设感兴趣区域ROI内用户对所述家用电器内物品的存取动作时，进一步结合所述传感器的盲区检测信息，确定用户对所述家用电器内物品的存取动作和/或所述物品在所述家用电器内的存放位置。3.根据权利要求2所述的家用电器，其特征在于，所述处理器当通过所述视觉检测结果，确定所述图像采集盲区的预设感兴趣区域ROI内用户对所述家用电器内物品的存取动作之后的预设时长内，等待通过所述传感器获取盲区检测信息，根据在所述预设时长内是否通过所述传感器获取了盲区检测信息，确定所述物品在所述家用电器内的存放位置。4.根据权利要求3所述的家用电器，其特征在于，所述预设时长是根据用户存取动作的速度确定的，所述用户存取动作的速度是通过对所述相机采集的图像进行检测确定的。5.根据权利要求1所述的家用电器，其特征在于，所述处理器还用于：当用户在所述图像采集盲区之外对所述家用电器内物品进行存取操作时，直接通过所述相机采集的图像，确定用户对所述家用电器内物品的存取动作和/或所述物品在...

【专利技术属性】
技术研发人员：高语函，赵启东，谢飞学，
申请(专利权)人：海信集团控股股份有限公司，
类型：发明
国别省市：