一种冰箱和食材检测方法技术

本发明专利技术公开了一种冰箱和食材检测方法，本实施例冰箱包括机壳、门体、拍摄装置和处理器，处理器被配置为：在食材存取过程中通过拍摄装置对食材存取区域进行拍摄，获得拍摄图像；从所述拍摄图像中选择待处理图像，并对待处理图像中预设区域进行模糊处理；根据所述预设区域中各像素点的梯度变化，确定所述各待处理图像的清晰度；基于所述清晰度从所有待处理图像中确定出目标图像，所述目标图像的预设区域用于进行食材检测，仅通过目标图像的预设区域即可准确检测出食材，减少检测过程中的计算压力。减少检测过程中的计算压力。减少检测过程中的计算压力。

【技术实现步骤摘要】
一种冰箱和食材检测方法


[0001]本专利技术涉及家用电器
，特别涉及一种冰箱和食材检测方法。

技术介绍

[0002]随着科技的迅速发展和人们生活水平的提高，家用电器的应用越来越广泛。冰箱作为最常使用的家用电器之一，可以对放入冰箱内的食材进行保鲜和冷却。通过对放入冰箱内的食材进行录入，能够智能地管理食材和冰箱。食材录入的方式有多种，如通过用户在客户端手动录入、语音检测和图像检测等。其中，图像检测是最接近无感交互的录入方式。
[0003]相关技术中，图像检测是通过拍摄装置采集食材存取过程的图像，并基于这些图像检测食材。
[0004]然而，上述方案是基于食材存取过程拍摄的所有图像进行食材检测，因此检测过程中的计算压力较大。

技术实现思路

[0005]本专利技术提供一种冰箱和食材检测方法，用以减少通过图像检测录入食材时检测过程中的计算压力。
[0006]第一方面，本专利技术实施例提供一种冰箱，包括处理器和拍摄装置；
[0007]机壳，所述机壳包括储藏室，所述储藏室具有开口；
[0008]门体，与所述机壳活动连接，用于遮挡所述开口；
[0009]拍摄装置，用于拍摄图像；
[0010]所述处理器被配置为：在食材存取过程中通过拍摄装置对食材存取区域进行拍摄，获得拍摄图像；从所述拍摄图像中选择待处理图像，并对待处理图像中预设区域进行模糊处理；根据所述预设区域中各像素点的梯度变化，确定所述各待处理图像的清晰度；基于所述清晰度从所有待处理图像中确定出目标图像，所述目标图像的预设区域用于进行食材检测。
[0011]上述方案，通过在食材存取过程中获得对食材存取区域进行拍摄的拍摄图像，并对选择出的待处理图像中的预设区域进行模糊处理，对于清晰度较低的图像，对其进行模糊后，高频分量变化不大，即模糊后图像与原图像的像素梯度变化较小，对于清晰度较高的图像，模糊后图像与原图像的像素梯度变化较大，因此根据预设区域中各像素点的梯度变化，能够确定各待处理图像的清晰度，由于图像清晰度直接影响着食材检测准确率，因此基于清晰度从待处理图像中确定出较为清晰目标图像，仅通过目标图像的预设区域即可准确检测出食材，减少检测过程中的计算压力，进而提高了检测效率。
[0012]在本申请某些实施例中，所述处理器还被配置为：
[0013]确定模糊前所述预设区域各像素点颜色信号值与相邻像素点的颜色信号值的第一差值，以及模糊后所述预设区域各像素点颜色信号值与相邻像素点颜色信号值的第二差值，其中所述颜色信号值包括灰度值或者三原色(Red Green Blue，简称RGB)值；
[0014]根据同一像素点对应的所述第二差值和所述第一差值之差，确定各像素点的梯度变化。
[0015]上述方案，通过确定模糊前预设区域各像素点颜色信号值与相邻像素点的颜色信号值的第一差值，以及模糊后预设区域各像素点颜色信号值与相邻像素点颜色信号值的第二差值；并根据同一像素点对应的第二差值和第一差值之差，能够准确确定各像素点的梯度变化。其中颜色信号值可以为灰度值或者RGB值，从而可以根据实际需要选择不同的方式获得各像素点的梯度变化。
[0016]在本申请某些实施例中，所述冰箱还包括门体角度传感器，所述门体角度传感器用于获取所述门体的打开角度，且将打开角度发送；
[0017]所述处理器还被配置为：
[0018]基于背景图像对所述拍摄图像的预设区域进行去背景处理，得到去背景的预设区域，所述背景图像是预设的图像，或者是基于接收所述门体角度传感器发送的所述打开角度在所述门体开启时通过拍摄装置对食材存取区域进行拍摄得到的；
[0019]对所述去背景的预设区域进行灰度二值化处理，获取各灰度二值化后去背景的预设区域中目标像素点个数；以及根据所述目标像素点个数，判断所述预设区域是否包含目标区域，其中所述目标区域包含食材；
[0020]从预设区域包含目标区域的拍摄图像中选择作为所述待处理图像的拍摄图像。
[0021]上述方案，通过基于背景图像对拍摄图像的预设区域进行去背景处理，得到去背景的预设区域；对去背景的预设区域进行灰度二值化处理，使预设区域中数据量大为减少，从而能凸显出目标区域的轮廓，进而通过预设区域中目标像素点个数，能够清晰、准确地判断出是否包含目标区域，并从预设区域包含目标区域的拍摄图像中有效地选择出待处理图像，避免了不包含目标区域的拍摄图像的干扰。其中，通过预设背景图像，可以简单方便地进行去背景处理；基于接收门体角度传感器发送的打开角度可以及时准确地确定出冰箱的门体开启时刻，并在该时刻通过拍摄装置对食材存取区域进行拍摄，得到当前的背景图像，从而更加准确地进行去背景处理。
[0022]在本申请某些实施例中，所述处理器还被配置为：
[0023]基于所述目标区域的顶点和/或底点与所述预设区域的边界，确定所述各待处理图像的完整度；
[0024]所述基于所述清晰度从所有待处理图像中确定出目标图像，包括：
[0025]基于所述各待处理图像的清晰度和完整度，从所有待处理图像中确定出目标图像。
[0026]上述方案，通过目标区域的顶点和/或底点与预设区域的边界，确定目标区域在预设区域中是否完整，进而确定各待处理图像的完整度，由于图像清晰度和完整度均影响着食材检测准确率，因此基于清晰度和完整度从待处理图像中确定出较为清晰和完整目标图像，基于上述方式确定出的目标图像的预设区域能够更加准确地检测出食材。
[0027]在本申请某些实施例中，所述处理器被具体配置为：
[0028]根据目标区域的灰度值，获得目标区域的曝光信息；
[0029]基于所述曝光信息，从预设区域包含目标区域的拍摄图像中选择作为所述待处理图像的拍摄图像。
[0030]上述方案，通过灰度值可以准确、方便地确定目标区域的曝光信息，进而基于曝光信息，选择合适曝光度的拍摄图像作为待处理图像，能够筛选过度曝光或者曝光不足的拍摄图像，避免无法根据过度曝光或者曝光不足的拍摄图像检测出食材，提高了检测出食材的概率。
[0031]在本申请某些实施例中，所述处理器还被配置为：将所述目标图像的预设区域发送至云端进行食材检测。
[0032]上述方案，通过云端进行食材检测，能够降低硬件成本；并且上述方案是仅将目标图像的预设区域发送至云端，云端通过较少的目标图像的预设区域即可准确检测出食材，避免因向云端发送大量图像造成的网络传输负载过大，以及云端的计算压力过大的问题。
[0033]在本申请某些实施例中，所述拍摄装置为彩色摄像头，所述处理器被具体配置为：
[0034]基于所述背景图像的预设区域，对拍摄图像的预设区域进行差分处理，得到所述去背景的预设区域；
[0035]对所述去背景的预设区域进行灰度化处理，得到灰度化的去背景的预设区域；以及所述灰度化的去背景的预设区域进行灰度二值化处理；
[0036]或者，
[0037]基于灰度化的背景图像的预设区域，对灰度化的本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种冰箱，其特征在于，该冰箱包括：机壳，所述机壳包括储藏室，所述储藏室具有开口；门体，与所述机壳活动连接，用于遮挡所述开口；拍摄装置，用于拍摄图像；处理器，被配置为：在食材存取过程中通过所述拍摄装置对食材存取区域进行拍摄，获得拍摄图像；从所述拍摄图像中选择待处理图像，并对待处理图像中预设区域进行模糊处理；根据所述预设区域中各像素点的梯度变化，确定所述各待处理图像的清晰度；基于所述清晰度从所有待处理图像中确定出目标图像，所述目标图像的预设区域用于进行食材检测。2.如权利要求1所述的冰箱，其特征在于，所述处理器还被配置为：确定模糊前所述预设区域各像素点颜色信号值与相邻像素点的颜色信号值的第一差值，以及模糊后所述预设区域各像素点颜色信号值与相邻像素点颜色信号值的第二差值，其中所述颜色信号值包括灰度值或者三原色RGB值；根据同一像素点对应的所述第二差值和所述第一差值之差，确定各像素点的梯度变化。3.如权利要求1或2所述的冰箱，其特征在于，所述冰箱还包括门体角度传感器，所述门体角度传感器用于获取所述门体的打开角度，且将所述打开角度发送；所述处理器还被配置为：基于背景图像对所述拍摄图像的预设区域进行去背景处理，得到去背景的预设区域，所述背景图像是预设的图像，或者是基于接收所述门体角度传感器发送的所述打开角度在所述门体开启时通过拍摄装置对食材存取区域进行拍摄得到的；对所述去背景的预设区域进行灰度二值化处理，获取各灰度二值化后去背景的预设区域中目标像素点个数；以及根据所述目标像素点个数，判断所述预设区域是否包含目标区域，其中所述目标区域包含食材；从预设区域包含目标区域的拍摄图像中选择作为所述待处理图像的拍摄图像。4.如权利要求3所述的冰箱，其特征在于，所述处理器还被配置为：基于所述目标区域的顶点和/或底点与所述预设区域的边界，确定所述各待处理图像的完整度；所述基于所述清晰度从所有待处理图像中确定出目标图像，包括：基于所述各待处理图像的清晰度和完整度，从所有待处理图像中确定出目标图像。5.如权利要求3所述的冰箱，其特征在于，所述处理器被具体配置为：...

【专利技术属性】
技术研发人员：陈维强，高雪松，曲磊，李正义，孙菁，赵启东，
申请(专利权)人：海信集团有限公司，
类型：发明
国别省市：