食材体积检测的方法及装置、厨电设备制造方法及图纸

本申请涉及智能设备技术领域，公开一种食材体积检测的方法及装置、厨电设备。该方法包括：获取放置了食材的厨电设备的工作区域的图像；通过卷积神经网络模型，对所述图像进行训练，确定所述食材在所述厨电设备中的位置图像信息，以及，所述食材的设定表面的分割图像信息；根据所述位置图像信息和所述分割图像信息，确定所述食材的设定表面的面积信息；根据保存的食材面积与食材体积的对应关系，确定所述面积信息对应的食材体积。这样，提高了确定食材体积信息的准确性。

【技术实现步骤摘要】
食材体积检测的方法及装置、厨电设备
本申请涉及智能设备
，例如涉及食材体积检测的方法及装置、厨电设备。
技术介绍
目前，厨电设备，例如：烤箱，微波炉，空气炸锅等等都具有烤制食物的功能，一般，可通过识别食材的种类，以及通过重量检测装置确定食材的尺寸以及重量，从而，确定厨电设备烤制食物的设定温度以及设定时间，达到烤制食材的目的。但是，在厨电设备中增加重量检测装置，例如重力传感器，会增加厨电设备的制造成本，并且，重量检测装置的性能、使用寿命等等都会影响食材的尺寸以及重量，导致食材的尺寸以及重量不够准确。
技术实现思路
为了对披露的实施例的一些方面有基本的理解，下面给出了简单的概括。所述概括不是泛泛评述，也不是要确定关键/重要组成元素或描绘这些实施例的保护范围，而是作为后面的详细说明的序言。本公开实施例提供了一种食材体积检测的方法、装置和厨电设备，以解决厨电设备确定食材体积信息不够准确的技术问题。在一些实施例中，所述方法包括：获取放置了食材的厨电设备的工作区域的图像；通过卷积神经网络模型，对所述图像进行训练，确定所述食材在所述厨电设备中的位置图像信息，以及，所述食材的设定表面的分割图像信息；根据所述位置图像信息和所述分割图像信息，确定所述食材的设定表面的面积信息；根据保存的食材面积与食材体积的对应关系，确定所述面积信息对应的食材体积。在一些实施例中，所述装置包括：图像获取模块，被配置为获取放置了食材的厨电设备的工作区域的图像；<br>模型训练模块，被配置为通过卷积神经网络模型，对所述图像进行训练，确定所述食材在所述厨电设备中的位置图像信息，以及，所述食材的设定表面的分割图像信息；面积确定模块，被配置为根据所述位置图像信息和所述分割图像信息，确定所述食材的设定表面的面积信息；体积确定模块，被配置为根据保存的食材面积与食材体积的对应关系，确定所述面积信息对应的食材体积。在一些实施例中，所述食材体积检测的装置，包括处理器和存储有程序指令的存储器，所述处理器被配置为在执行所述程序指令时，执行上述食材体积检测方法在一些实施例中，所述厨电设备包括：上述食材体积检测的装置。本公开实施例提供的食材体积检测的方法、装置和厨电设备，可以实现以下技术效果：对厨电设备的工作区域的图像，通过卷积神经网络模型，进行深度学习，得到厨电设备中放置食材的食材的体积信息，这样，不需增加任何硬件设备，在识别食材类别的同时，即可确定食材的体积进而确定食材的质量，减少了厨电设备的制造资源，并且，不依赖重量测量硬件设备的性能，提高了确定食材体积信息的准确性。以上的总体描述和下文中的描述仅是示例性和解释性的，不用于限制本申请。附图说明一个或多个实施例通过与之对应的附图进行示例性说明，这些示例性说明和附图并不构成对实施例的限定，附图中具有相同参考数字标号的元件示为类似的元件，附图不构成比例限制，并且其中：图1是本公开实施例提供的一种食材体积检测方法的流程示意图；、图2是本公开实施例提供的一种MobileNet模型训练的示意图；图3是本公开实施例提供的一种网格映射矩阵的示意图；图4是本公开实施例提供的一种二值化掩码矩阵的示意图；图5是本公开实施例提供的一种食材掩码图像的示意图；图6是本公开实施例提供的一种拟合函数映射示意图；图7是本公开实施例提供的一种食材体积检测方法的流程示意图；图8是本公开实施例提供的一种食材体积检测装置的结构示意图；图9是本公开实施例提供的一种食材体积检测装置的结构示意图；图10是本公开实施例提供的一种食材体积检测装置的结构示意图。具体实施方式为了能够更加详尽地了解本公开实施例的特点与
技术实现思路
，下面结合附图对本公开实施例的实现进行详细阐述，所附附图仅供参考说明之用，并非用来限定本公开实施例。在以下的技术描述中，为方便解释起见，通过多个细节以提供对所披露实施例的充分理解。然而，在没有这些细节的情况下，一个或多个实施例仍然可以实施。在其它情况下，为简化附图，熟知的结构和装置可以简化展示。本公开实施例中，对厨电设备的工作区域的图像，通过卷积神经网络模型，进行深度学习，得到厨电设备中放置食材的食材体积，这样，可确定食材的质量，进一步进行食材的烘焙控制。图1是本公开实施例提供的一种食材体积检测方法的流程示意图。如图1所示，食材体积检测的过程包括：步骤101：获取放置了食材的厨电设备的工作区域的图像。本公开实施例中，厨电设备包括：烤箱、微波炉、空气炸锅等等具有烤制功能的设备。厨电设备中可配置有图像采集装置，从而，可通过图像采集装置，获取到放置了食材的厨电设备的工作区域的图像。步骤102：通过卷积神经网络模型，对图像进行训练，确定食材在厨电设备中的位置图像信息，以及，食材的设定表面的分割图像信息。卷积神经网络(CNN)已经普遍应用在计算机图像处理领域，并且已经取得了不错的效果。目前，为了追求分类准确度，模型深度越来越深，模型复杂度也越来越高。本实施例中可采用不同的神经网络模型，分别对图像进行训练，得到食材在厨电设备中的位置图像信息，以及，食材的设定表面的分割图像信息。其中，可通过神经压缩网络模型，对图像进行训练，得到食材在厨电设备中的层次位置对应的网格映射矩阵；还可通过实例分割网络模型，对图像进行训练，得到食材的设定表面的二值化掩码矩阵。厨电设备，例如：烤箱、空气炸锅等等，可能有一层、两层或多层烤架，食材可以放入不同的烤架上，因此，可以通过神经压缩网络模型，对图像进行训练，得到食材在厨电设备中的层次位置，即可确定食材在那一层烤架上。其中，MobileNet是一种轻量级神经压缩网络模型，具有体积小、精度高的优点，能够在保证精度的同时降低响应时延，并且，能够达到快速收敛的效果，用这种轻量级的网络训练同时能够降低计算量，从而降低了对硬件设备的要求。可选地，通过MobileNet模型，对图像进行训练，得到食材在厨电设备中的层次位置对应的网格映射矩阵。当然，在其他一些实施例中，其他类型的神经压缩网络模型，也可对图像进行训练，得到食材在厨电设备中的位置图像信息。图2是本公开实施例提供的一种MobileNet模型训练的示意图。获取到烤箱工作区域的图像后，输入(Input)到MobileNet模型中，进行训练，可确定食材在烤箱中的层次位置，如图2所示，可确定第一层次，即Layer1，并可得到如图3所示的网格映射矩阵。网格映射矩阵是一个与相机拍摄图片同等大小的二维矩阵，每个元素的值代表相应位置实际对应的面积。Mask-RCNN是一种实例分割网络模型，通过Mask-RCNN算法模型可同时完成分割任务、定位以及分类任务，得到图像对应的掩码图像。本实施例，在训练Mask-RCNN时仅对食材设定表面进行标注，在一些实施例中，设定表面可为可食材图像上可见表面。通本文档来自技高网...

【技术保护点】
1.一种食材体积检测的方法，其特征在于，包括：/n获取放置了食材的厨电设备的工作区域的图像；/n通过卷积神经网络模型，对所述图像进行训练，确定所述食材在所述厨电设备中的位置图像信息，以及，所述食材的设定表面的分割图像信息；/n根据所述位置图像信息和所述分割图像信息，确定所述食材的设定表面的面积信息；/n根据保存的食材面积与食材体积的对应关系，确定所述面积信息对应的食材体积。/n

【技术特征摘要】
1.一种食材体积检测的方法，其特征在于，包括：
获取放置了食材的厨电设备的工作区域的图像；
通过卷积神经网络模型，对所述图像进行训练，确定所述食材在所述厨电设备中的位置图像信息，以及，所述食材的设定表面的分割图像信息；
根据所述位置图像信息和所述分割图像信息，确定所述食材的设定表面的面积信息；
根据保存的食材面积与食材体积的对应关系，确定所述面积信息对应的食材体积。


2.根据权利要求1所述的方法，其特征在于，所述确定所述食材在所述厨电设备中的位置图像信息，以及，所述食材的设定表面的分割图像信息包括：
通过神经压缩网络模型，对所述图像进行训练，得到所述食材在所述厨电设备中的层次位置对应的网格映射矩阵；
通过实例分割网络模型，对所述图像进行训练，得到所述食材的设定表面的二值化掩码矩阵。


3.根据权利要求2所述的方法，其特征在于，所述确定所述食材的设定表面的面积信息包括：
将所述网格映射矩阵和所述二值化掩码矩阵进行对位相乘处理，得到所述食材的设定表面的区域矩阵信息；
对所述区域矩阵信息中的元素值进行求和处理，得到所述食材的设定表面的面积信息。


4.根据权利要求1所述的方法，其特征在于，所述确定所述面积信息对应的食材体积之后，还包括：
根据所述食材体积，对所述食材进行烘焙控制。


5.一种食材体积检测的装置，其特征在于，包括：
图像获取模块，被配置为获取放置了食材的厨电设备的工作区域...

【专利技术属性】
技术研发人员：刘彦甲，苏明月，高进宝，李玉强，冯浩，王华伟，
申请(专利权)人：青岛海尔智能技术研发有限公司，海尔智家股份有限公司，
类型：发明
国别省市：山东;37