冰箱及冰箱的食材定位方法技术

本发明专利技术公开了一种冰箱及冰箱的食材定位方法，利用图像采集装置采集冰箱箱体内的图像，基于该图像，通过目标识别和追踪算法对能够实时的识别和追踪冰箱中移动的目标食材，以得到目标食材的运动轨迹，并基于箱体内的存储区域的位置划分和运动轨迹，确定目标食材的具体存取位置，从而，能够实现食材存取位置的自动识别。动识别。动识别。

【技术实现步骤摘要】
冰箱及冰箱的食材定位方法


[0001]本专利技术涉及冰箱
，尤其涉及一种冰箱及冰箱的食材定位方法。

技术介绍

[0002]随着物联网的发展以及人类生活水平的提高，在智能家居领域，基于冰箱的食材跟踪定位的应用研究得到了越来越多人的重视。食材的跟踪定位技术潜力巨大、应用前景广泛，在超市农产品经营过程和日常家居生活中，冰箱根据食材的定位提示购物人所需食材位置，能够节省人工成本以及时间成本，因此如何实现冰箱内的食材定位对冰箱的智能化发展具有重要意义。

技术实现思路

[0003]本专利技术实施例提供一种冰箱及冰箱的食材定位方法，能够实现食材存取位置的自动识别。
[0004]本专利技术一实施例提供一种冰箱，包括：
[0005]箱体，所述箱体上安装有门体，所述箱体内划分为多个存储区域；
[0006]图像采集装置，设置于所述箱体上；
[0007]控制器，其被配置为：
[0008]控制所述图像采集装置采集所述箱体内的当前图像；
[0009]从所述当前图像中识别处于移动状态的目标食材，得到所述目标食材的检测框位置；
[0010]将所述检测框位置与正在跟踪的多条轨迹进行关联匹配，得到匹配结果；
[0011]根据所述匹配结果和所述检测框位置对所述目标食材进行跟踪，得到所述目标食材的最新轨迹；
[0012]判断是否结束食材跟踪，若是，则根据所述目标食材的最新轨迹和预先获取的每一所述存储区域对应的位置信息，确定所述目标食材的存取位置，若否，则返回至所述控制所述图像采集装置采集所述箱体内的当前图像的步骤。
[0013]作为上述方案的改进，所述从所述当前图像中识别处于移动状态的目标食材，得到所述目标食材的检测框位置，包括：
[0014]对所述当前图像进行预处理，得到预处理后的当前图像；
[0015]将所述预处理后的当前图像输入特征提取网络进行特征提取，得到第一特征数据；
[0016]通过空间特征金字塔网络对所述第一特征数据进行池化，得到第二特征数据；
[0017]通过路径聚合网络对所述第二特征数据进行特征提取，得到第三特征数据；
[0018]根据所述第三特征数据进行食材检测，得到多个候选检测框及其对应的预测置信度；
[0019]根据每一所述候选检测框对应的预测置信度，对多个所述候选检测框进行去重处
理，得到所述当前图像的检测框数据；
[0020]获取上一次采集的图像的检测框数据；
[0021]将所述当前图像的检测框数据与所述上一次采集的图像的检测框数据进行比对，确定所述目标食材的检测框位置。
[0022]作为上述方案的改进，所述对所述当前图像进行预处理，得到预处理后的当前图像，包括：
[0023]对所述当前图像进行缩放，得到缩放后的当前图像；
[0024]对所述缩放后的当前图像中的空白区域进行灰条填充，得到填充后的当前图像；
[0025]对所述填充后的当前图像进行归一化操作，得到预处理后的当前图像。
[0026]作为上述方案的改进，所述将所述检测框位置与正在跟踪的多条轨迹进行关联匹配，得到匹配结果，包括：
[0027]分别计算所述检测框位置与正在跟踪的多条轨迹的余弦距离和马氏距离，并构建余弦距离代价矩阵和马氏距离代价矩阵；
[0028]根据预设的余弦距离代价矩阵的权重和马氏距离代价矩阵的权重，对所述余弦距离代价矩阵和所述马氏距离代价矩阵进行加权求和，得到目标代价矩阵；
[0029]基于所述目标代价矩阵，采用匈牙利算法判断多条所述轨迹中是否存在与所述检测框位置关联的轨迹；
[0030]若是，则将关联的轨迹作为匹配结果；
[0031]若否，则计算所述检测框位置与每一所述轨迹的交并比，并构建交并比矩阵；以及，基于所述交并比矩阵，采用匈牙利算法判断多条所述轨迹中是否存在与所述检测框位置关联的轨迹，若是，则将关联的轨迹作为匹配结果，若否，则确定匹配结果为不存在关联的轨迹。
[0032]作为上述方案的改进，所述根据所述匹配结果和所述检测框位置对所述目标食材进行跟踪，得到所述目标食材的最新轨迹，包括：
[0033]当所述匹配结果为关联的轨迹时，将所述关联的轨迹作为所述目标食材的轨迹，并获取所述目标食材的轨迹对应的卡尔曼滤波器；以及，基于所述检测框位置，通过所述卡尔曼滤波器对所述目标食材的轨迹进行更新，得到所述目标食材的最新轨迹；
[0034]当所述匹配结果为不存在关联轨迹时，基于所述检测框位置建立所述目标食材的卡尔曼滤波器和轨迹，以得到所述目标食材的最新轨迹。
[0035]本专利技术另一实施例提供一种冰箱的食材定位方法，包括：
[0036]控制冰箱箱体上的图像采集装置采集所述箱体内的当前图像；其中，所述箱体内划分为多个存储区域；
[0037]从所述当前图像中识别处于移动状态的目标食材，得到所述目标食材的检测框位置；
[0038]将所述检测框位置与正在跟踪的多条轨迹进行关联匹配，得到匹配结果；
[0039]根据所述匹配结果和所述检测框位置对所述目标食材进行跟踪，得到所述目标食材的最新轨迹；
[0040]判断是否结束食材跟踪，若是，则根据所述目标食材的最新轨迹和预先获取的每一所述存储区域对应的位置信息，确定所述目标食材的存取位置，若否，则返回至所述控制
所述图像采集装置采集所述箱体内的当前图像的步骤。
[0041]作为上述方案的改进，所述从所述当前图像中识别处于移动状态的目标食材，得到所述目标食材的检测框位置，包括：
[0042]对所述当前图像进行预处理，得到预处理后的当前图像；
[0043]将所述预处理后的当前图像输入特征提取网络进行特征提取，得到第一特征数据；
[0044]通过空间特征金字塔网络对所述第一特征数据进行池化，得到第二特征数据；
[0045]通过路径聚合网络对所述第二特征数据进行特征提取，得到第三特征数据；
[0046]根据所述第三特征数据进行食材检测，得到多个候选检测框及其对应的预测置信度；
[0047]根据每一所述候选检测框对应的预测置信度，对多个所述候选检测框进行去重处理，得到所述当前图像的检测框数据；
[0048]获取上一次采集的图像的检测框数据；
[0049]将所述当前图像的检测框数据与所述上一次采集的图像的检测框数据进行比对，确定所述目标食材的检测框位置。
[0050]作为上述方案的改进，所述对所述当前图像进行预处理，得到预处理后的当前图像，包括：
[0051]对所述当前图像进行缩放，得到缩放后的当前图像；
[0052]对所述缩放后的当前图像中的空白区域进行灰条填充，得到填充后的当前图像；
[0053]对所述填充后的当前图像进行归一化操作，得到预处理后的当前图像。
[0054]作为上述方案的改进，所述将所述检测框位置与正在跟踪的多条轨迹进行关联匹配本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种冰箱，其特征在于，包括：箱体，所述箱体上安装有门体，所述箱体内划分为多个存储区域；图像采集装置，设置于所述箱体上；控制器，其被配置为：控制所述图像采集装置采集所述箱体内的当前图像；从所述当前图像中识别处于移动状态的目标食材，得到所述目标食材的检测框位置；将所述检测框位置与正在跟踪的多条轨迹进行关联匹配，得到匹配结果；根据所述匹配结果和所述检测框位置对所述目标食材进行跟踪，得到所述目标食材的最新轨迹；判断是否结束食材跟踪，若是，则根据所述目标食材的最新轨迹和预先获取的每一所述存储区域对应的位置信息，确定所述目标食材的存取位置，若否，则返回至所述控制所述图像采集装置采集所述箱体内的当前图像的步骤。2.如权利要求1所述的冰箱，其特征在于，所述从所述当前图像中识别处于移动状态的目标食材，得到所述目标食材的检测框位置，包括：对所述当前图像进行预处理，得到预处理后的当前图像；将所述预处理后的当前图像输入特征提取网络进行特征提取，得到第一特征数据；通过空间特征金字塔网络对所述第一特征数据进行池化，得到第二特征数据；通过路径聚合网络对所述第二特征数据进行特征提取，得到第三特征数据；根据所述第三特征数据进行食材检测，得到多个候选检测框及其对应的预测置信度；根据每一所述候选检测框对应的预测置信度，对多个所述候选检测框进行去重处理，得到所述当前图像的检测框数据；获取上一次采集的图像的检测框数据；将所述当前图像的检测框数据与所述上一次采集的图像的检测框数据进行比对，确定所述目标食材的检测框位置。3.如权利要求2所述的冰箱，其特征在于，所述对所述当前图像进行预处理，得到预处理后的当前图像，包括：对所述当前图像进行缩放，得到缩放后的当前图像；对所述缩放后的当前图像中的空白区域进行灰条填充，得到填充后的当前图像；对所述填充后的当前图像进行归一化操作，得到预处理后的当前图像。4.如权利要求1所述的冰箱，其特征在于，所述将所述检测框位置与正在跟踪的多条轨迹进行关联匹配，得到匹配结果，包括：分别计算所述检测框位置与正在跟踪的多条轨迹的余弦距离和马氏距离，并构建余弦距离代价矩阵和马氏距离代价矩阵；根据预设的余弦距离代价矩阵的权重和马氏距离代价矩阵的权重，对所述余弦距离代价矩阵和所述马氏距离代价矩阵进行加权求和，得到目标代价矩阵；基于所述目标代价矩阵，采用匈牙利算法判断多条所述轨迹中是否存在与所述检测框位置关联的轨迹；若是，则将关联的轨迹作为匹配结果；若否，则计算所述检测框位置与每一所述轨迹的交并比，并构建交并比矩阵；以及，基
于所述交并比矩阵，采用匈牙利算法判断多条所述轨迹中是否存在与所述检测框位置关联的轨迹，若是，则将关联的轨迹作为匹配结果，若否，则确定匹配结果为不存在关联的轨迹。5.如权利要求1或4所述的冰箱，其特征在于，所述根据所述匹配结果和所述检测框位置对所述目标食材进行跟踪，得到所述目标食材的最新轨迹，包括：当所述匹配结果为关联的轨迹时，将所述关联的轨迹作为所述目标食材的轨迹，并获取所述目标食材的轨迹对应的卡尔曼滤波器；以及，基于所述检测框位置，通过所述卡尔曼滤波器对所述目标食材的轨迹进行更新，得到所述目标食材的最新轨迹；当所述匹配结果为不存在关联轨迹时，基于所述检测框位置建立所述目标食材的卡尔曼滤波器和轨迹，以得到所述目标食材的最新轨迹。6.一种冰...

【专利技术属性】
技术研发人员：鲍雨锋，崔学荣，刘兆祥，崔国靖，彭红亮，于志成，
申请(专利权)人：海信山东冰箱有限公司，
类型：发明
国别省市：