一种智能冰箱的食品管理方法及系统技术方案

本发明专利技术提供了一种智能冰箱的食品管理方法及系统，涉及家电技术领域。该方法包括：当智能冰箱的门被打开时，自动启动设置在智能冰箱内的摄像头，使摄像头连续采集检测区域内的图像，生成食品图像序列；对食品图像序列进行分析处理，以获取智能冰箱被打开后用户执行的动作类型以及与动作类型相对应的食品类别，动作类型包括取出食品和放入食品；记录智能冰箱被打开后用户执行的动作类型以及与动作类型相对应的食品类别。本发明专利技术能够在智能冰箱被打开时自动识别并记录用户从智能冰箱中放入或取出食品的动作以及与该动作对应的食品类别，简化了用户操作步骤，提升了用户体验。

【技术实现步骤摘要】

本专利技术属于家电
，尤其涉及一种智能冰箱的食品管理方法及系统。
技术介绍
随着人们生活水平的不断提高，智能冰箱已经成了各个家庭必不可少的电器设备，人们对智能冰箱功能的要求越来越高，而如何有效的对冰箱内的食品进行管理是智能冰箱的核心功能，也是用户非常关注的问题。目前，在智能冰箱的食品管理进行研究的过程中，智能冰箱已经具有了多摄像头进行拍照、远程查看进行食品管理等功能，还配备了射频电子标签、触摸操作等方式进行食品添加和食品删除等功能。尽管这功能解决了智能冰箱食品管理的部分问题，但是依然没有从根本上解决冰箱内食品管理操作繁琐的问题，仍然需要用户通过手动操作来记录智能冰箱内食品的入库和出库，其操作步骤仍然比较繁琐。
技术实现思路
本专利技术实施例的目的在于提供一种智能冰箱的食品管理方法及，旨在解决上述现有的智能冰箱仍然需要用户通过手动操作来记录食品的入库和出库，其操作步骤仍然比较繁琐的问题。本专利技术实施例是这样实现的，一种智能冰箱的食品管理方法，包括：当所述智能冰箱的门被打开时，自动启动设置在所述智能冰箱内的摄像头，使所述摄像头连续采集检测区域内的图像，生成食品图像序列；对所述食品图像序列进行分析处理，以获取所述智能冰箱被打开后用户执行的动作类型以及与所述动作类型相对应的食品类别，所述动作类型包括取出食品和放入食品；记录所述智能冰箱被打开后用户执行的动作类型以及与所述动作类型相对应的食品类别。在上述技术方案的基础上，对所述食品图像序列进行分析处理，以获取所述智能冰箱被打开后用户执行的动作类型以及与所述动作类型相对应的食品类别具体包括：采用混合高斯模型背景建模技术根据所述食品图像序列进行背景建模，获取背景模型；将所述食品图像序列中的图像均与所述背景模型进行比较，分别识别出各个图像中的前景像素和背景像素，并根据识别结果生成与各个图像对应的二值化运动前景图像，得到运动前景图像序列；对所述运动前景图像序列中的运动前景图像均进行连通域判别，分别提取出各个运动前景图像中的最大连通域所对应的图像成分；识别所述最大连通域对应的图像成分在所述运动前景图像中的运动方向，根据所述最大连通域所对应的图像成分在所述运动前景图像中的运动方向判断所述智能冰箱打开后用户执行的动作类型；通过预先训练的分类器识别出所述食品图像序列中的图像中包含的与所述动作类型相应的食品类别。在上述技术方案的基础上，所述对所述运动前景图像序列中的运动前景图像均进行连通域判别，分别提取出各个运动前景图像中的最大连通域所对应的图像成分之前还包括：对所述运动前景图像序列中的运动前景图像进行二值形态学闭运算处理，然后对进行二值形态学闭运算处理后的运动前景图像进行二值形态学开运算处理，以去除所述运动前景图像中的噪声像素。在上述技术方案的基础上，所述根据所述最大连通域所对应的图像成分在所述运动前景图像中的运动方向判断所述智能冰箱打开后用户执行的动作类型之前还包括：判断所述最大连通域所对应的图像成分中的像素数是否大于或等于预设阈值，若大于或等于预设阈值，则进入所述根据所述最大连通域所对应的图像成分在所述运动前景图像中的运动方向判断所述智能冰箱打开后用户执行的动作类型的步骤，否则，结束流程。在上述技术方案的基础上，所述通过预先训练的分类器识别出所述食品图像序列中的图像中包含的与所述动作类型相应的食品类别具体包括：通过预先利用BOW图像特征训练的SVM分类器识别出所述食品图像序列中的图像中包含的与所述动作类型相应的食品类别。本专利技术实施例的另一目的在于提供一种智能冰箱的食品管理系统，包括：控制模块，用于当所述智能冰箱的门被打开时，自动启动设置在所述智能冰箱内的摄像头，使所述摄像头连续采集检测区域内的图像，生成食品图像序列；图像分析处理模块，用于对所述食品图像序列进行分析处理，以获取所述智能冰箱被打开后用户执行的动作类型以及与所述动作类型相对应的食品类别，所述动作类型包括取出食品和放入食品；记录模块，用于记录所述智能冰箱被打开后用户执行的动作类型以及与所述动作类型相对应的食品类别。在上述技术方案的基础上，所述图像分析处理模块具体包括：背景建模单元，用于采用混合高斯模型背景建模技术根据所述食品图像序列进行背景建模，获取背景模型；运动前景图像获取单元，用于将所述食品图像序列中的图像均与所述背景模型进行比较，分别识别出各个图像中的前景像素和背景像素，并根据识别结果生成与各个图像对应的二值化运动前景图像，得到运动前景图像序列；连通域提取单元，用于对所述运动前景图像序列中的运动前景图像均进行连通域判别，分别提取出各个运动前景图像中的最大连通域所对应的图像成分；动作类型判断单元，用于识别所述最大连通域对应的图像成分在所述运动前景图像中的运动方向，根据所述最大连通域所对应的图像成分在所述运动前景图像中的运动方向判断所述智能冰箱打开后用户执行的动作类型；食品类别获取单元，用于通过预先训练的分类器识别出所述食品图像序列中的图像中包含的与所述动作类型相应的食品类别。在上述技术方案的基础上，所述图像分析处理模块还包括：噪声像素处理单元，用于对所述运动前景图像序列中的运动前景图像进行二值形态学闭运算处理，然后对进行二值形态学闭运算处理后的运动前景图像进行二值形态学开运算处理，以去除所述运动前景图像中的噪声像素。在上述技术方案的基础上，所述图像分析处理模块还包括：图像成分判断单元，用于判断所述最大连通域所对应的图像成分中的像素数是否大于或等于预设阈值，若大于或等于预设阈值，则进入所述根据所述最大连通域所对应的图像成分在所述运动前景图像中的运动方向判断所述智能冰箱打开后用户执行的动作类型的步骤，否则，结束流程。在上述技术方案的基础上，食品类别获取单元具体用于：通过预先利用BOW图像特征训练的SVM分类器识别出所述食品图像序列中的图像中包含的与所述动作类型相应的食品类别。实施本专利技术实施例提供的一种智能冰箱的食品管理方法及系统具有以下有益效果：本专利技术实施例由于通过当所述智能冰箱的门被打开时，自动启动设置在所述智能冰箱内的摄像头，使所述摄像头连续采集检测区域内的图像，生成食品图像序列；对所述食品图像序列进行分析处理，以获取所述智能冰箱被打开后用户执行的动作类型以及与所述动作类型相对应的食品类别，所述动作类型包括取出食品和放入食品；记录所述智能冰箱被打开后用户执行的动作类型以及与所述动作类型相对应的食品类别，从而能够在智能冰箱被打开时自动识别并记录用户从智能冰箱中放入或取出食品的动作以及与该动作对应的食品类别，简化了用户操作步骤，提升了用户体验。附图说明图1是本专利技术实施例提供的一种智能冰箱的食品管理方法的具体实现流程图；图2是本专利技术实施例提供的一种智能冰箱的食品管理方法中步骤S102的具体实现流程图；图3a是本专利技术实施例提供的一种智能冰箱的食品管理方法中摄像头拍摄所获取的图像的示意图；图3b是本专利技术实施例中图3a所示的图像经过图像处理后得到的运动前景图像的示意图；图4是本专利技术另一实施例提供的一种智能冰箱的食品管理方法中步骤S102的具体实现流程图；图5是本专利技术实施例提供的一种智能冰箱的食品管理系统的示意性框图；图6是本专利技术实施例提供的一种智能冰箱的食品管理系统中图像分析处理单元的示意性框图；图7是本专利技术另一实本文档来自技高网...

【技术保护点】
一种智能冰箱的食品管理方法，其特征在于，包括：当所述智能冰箱的门被打开时，自动启动设置在所述智能冰箱内的摄像头，使所述摄像头连续采集检测区域内的图像，生成食品图像序列；对所述食品图像序列进行分析处理，以获取所述智能冰箱被打开后用户执行的动作类型以及与所述动作类型相对应的食品类别，所述动作类型包括取出食品和放入食品；记录所述智能冰箱被打开后用户执行的动作类型以及与所述动作类型相对应的食品类别。

【技术特征摘要】
1.一种智能冰箱的食品管理方法，其特征在于，包括：当所述智能冰箱的门被打开时，自动启动设置在所述智能冰箱内的摄像头，使所述摄像头连续采集检测区域内的图像，生成食品图像序列；对所述食品图像序列进行分析处理，以获取所述智能冰箱被打开后用户执行的动作类型以及与所述动作类型相对应的食品类别，所述动作类型包括取出食品和放入食品；记录所述智能冰箱被打开后用户执行的动作类型以及与所述动作类型相对应的食品类别。2.如权利要求1所述的智能冰箱的食品管理方法，其特征在于，对所述食品图像序列进行分析处理，以获取所述智能冰箱被打开后用户执行的动作类型以及与所述动作类型相对应的食品类别具体包括：采用混合高斯模型背景建模技术根据所述食品图像序列进行背景建模，获取背景模型；将所述食品图像序列中的图像均与所述背景模型进行比较，分别识别出各个图像中的前景像素和背景像素，并根据识别结果生成与各个图像对应的二值化运动前景图像，得到运动前景图像序列；对所述运动前景图像序列中的运动前景图像均进行连通域判别，分别提取出各个运动前景图像中的最大连通域所对应的图像成分；识别所述最大连通域对应的图像成分在所述运动前景图像中的运动方向，根据所述最大连通域所对应的图像成分在所述运动前景图像中的运动方向判断所述智能冰箱打开后用户执行的动作类型；通过预先训练的分类器识别出所述食品图像序列中的图像中包含的与所述动作类型相应的食品类别。3.如权利要求2所述的智能冰箱的食品管理方法，其特征在于，所述对所述运动前景图像序列中的运动前景图像均进行连通域判别，分别提取出各个运动前景图像中的最大连通域所对应的图像成分之前还包括：对所述运动前景图像序列中的运动前景图像进行二值形态学闭运算处理，然后对进行二值形态学闭运算处理后的运动前景图像进行二值形态学开运算处理，以去除所述运动前景图像中的噪声像素。4.如权利要求2所述的智能冰箱的食品管理方法，其特征在于，所述根据所述最大连通域所对应的图像成分在所述运动前景图像中的运动方向判断所述智能冰箱打开后用户执行的动作类型之前还包括：判断所述最大连通域所对应的图像成分中的像素数是否大于或等于预设阈值，若大于或等于预设阈值，则进入所述根据所述最大连通域所对应的图像成分在所述运动前景图像中的运动方向判断所述智能冰箱打开后用户执行的动作类型的步骤，否则，结束流程。5.如权利要求2所述的智能冰箱的食品管理方法，其特征在于，所述通过预先训练的分类器识别出所述食品图像序列中的图像中包含的与所述动作类型相应的食品类别具体包括：通过预先利用BOW图像特征训练的SV...

【专利技术属性】
技术研发人员：陈永洒，郑双名，邵怀荣，邵诗强，
申请(专利权)人：TCL集团股份有限公司，
类型：发明
国别省市：广东;44