基于图像识别物体的方法、智能设备及应用技术

一种基于图像识别物体的方法，该方法应用在对智能设备腔体内的物体进行识别，智能设备腔体内安装有图像采集装置，图像采集装置用于采集智能设备腔体中待识别物体的图像，方法包括步骤：获取图像采集装置采集智能设备腔体内待识别物体的图像；将图像输入至深度卷积神经网络模型，利用深度卷积神经网络模型对图像进行识别获得待识别物体的种类、重量、数量和/或位置。由于通过图像采集装置和深度卷积神经网络模型相结合识别出物体的种类、重量、数量和/或位置，因此，避免了使用重量传感器，降低了成本。

Method, Intelligent Equipment and Application of Object Recognition Based on Image

【技术实现步骤摘要】
基于图像识别物体的方法、智能设备及应用
本专利技术涉及图像识别
，具体涉及基于图像识别物体的方法、智能设备及应用。
技术介绍
传统烤箱无法分辨烘烤食物的种类、数量与重量，所以无法主动的控制食材的加热温度、时间等加热过程，需要用户手动设置。又由于食材的多样性使得用户很难精确的控制加热过程，导致烘烤失败。已有的解决方案是通过添加摄像头，使用计算机视觉方法识别食物的种类；然后添加重量传感器获取食物的重量。此方案的成本较高，且重量传感器的校准较为复杂。
技术实现思路
本申请提供一种基于图像识别物体的方法、智能设备及应用，可以实现无需重量传感器也能识别物体重量的目的，以解决利用重量传感器成本较高、校准复杂的问题。根据第一方面，一种实施例中，提供一种基于图像识别物体的方法，所述识别方法应用在对智能设备腔体内的物体进行识别，所述智能设备腔体内安装有图像采集装置，所述图像采集装置用于采集所述智能设备腔体中待识别物体的图像，所述识别方法包括步骤：获取所述图像采集装置采集智能设备腔体内待识别物体的图像；将所述图像输入至深度卷积神经网络模型，利用所述深度卷积神经网络模型对所述图像进行识别获得待识别物体的种类、重量、数量和/或位置。一种实施例中，还包括采集训练数据集，利用采集的训练数据集对所述深度卷积神经网络模型进行训练的步骤，其中，采集训练数据集包括步骤：创建模拟腔体，所述模拟腔体的大小、形状与智能设备腔体的大小形状相同；在所述模拟腔体内安装图像采集装置，所述模拟腔体内的图像采集装置的参数与所述智能设备腔体内的图像采集装置的参数相同，及所述模拟腔体内的图像采集装置的安装位置与所述智能设备腔体内的图像采集装置的安装位置、角度相同；利用所述模拟腔体内的图像采集装置对模拟腔体内的物体进行图像采集；对采集的图像进行特征值标定，标定的特征值作为训练数据，所述标定的特征值为物体种类、物体重量、物体数量和/或位置。一种实施例中，所述深度卷积神经网络模型为MobileNetV2网络结构，所述标定的特征值为物体种类、物体重量和数量，所述MobileNetV2网络结构的损失函数为：loss(cls)+αloss(wt)+βloss(num)，其中，loss(cls)为物体类别的损失函数，α和β为平衡参数，loss(wt)为物体重量的损失函数，loss(num)为物体数量的损失函数。一种实施例中，所述深度卷积神经网络模型为SSD网络结构，所述标定的特征值为物体种类、物体重量和物体在模拟腔体内的位置，所述SSD网络结构的损失函数为：loss(cls)+αloss(loc)+βloss(wt)，其中，α和β为平衡参数，loss(cls)为物体类别的损失函数，loss(loc)为物体位置的损失函数，loss(wt)为物体重量的损失函数。一种实施例中，所述深度卷积神经网络模型为SSD网络结构，所述标定的特征值为物体种类和物体外接矩形框，所述SSD网络结构识别待识别物体重量的步骤为：计算图像坐标到智能设备腔体内用于承载物体的承载体坐标的映射关系表；将承载体划分成M*N的网格；统计不同物体覆盖网格面积、网格形状与物体重量的关系，并绘制重量关系表；依据映射关系表，将物体的外接矩形框映射到承载体坐标；根据物体的种类、映射后的物体坐标和重量关系表，得到物体的重量。一种实施例中，所述深度卷积神经网络模型为Multi-viewCNN网络结构，所述标定的特征值为物体种类、物体重量和数量，所述Multi-viewCNN网络结构的损失函数为：loss(cls)+αloss(wt)+βloss(num)，其中，loss(cls)为物体类别的损失函数，loss(wt)为物体重量的损失函数，loss(num)为物体数量的损失函数，α和β为平衡参数。根据第二方面，一种实施例中，提供一种基于图像识别物体的智能设备，包括图像采集装置和识别装置；所述图像采集装置安装于智能设备的腔体内，用于采集腔体中待识别物体的图像，并将采集的图像输入至所述识别装置；所述识别装置被配置有深度卷积神经网络模型，所述深度卷积神经网络模型采用上述的方法对所述图像进行识别获得待识别物体的种类、重量、数量或/和位置。根据第三方面，一种实施例中，提供一种上述的方法在烤箱中的应用，烤箱的炉腔内安装有图像采集装置，所述图像采集装置用于采集烤箱中待识别物体的图像，包括步骤：获取所述图像采集装置采集烤箱炉腔内待识别食物的图像；将所述图像输入至深度卷积神经网络模型，利用所述深度卷积神经网络模型对所述图像进行识别获得待识别食物的种类、重量、数量和/或位置；根据获取的食物种类、重量、数量和或/位置信息自动控制烤箱对食物的加热温度、加热时长，以实现自动化控制烤箱对食物的加热过程。依据上述实施例的基于图像识别物体的方法，由于通过图像采集装置和深度卷积神经网络模型相结合识别出物体的种类、重量、数量和/或位置，因此，避免了使用重量传感器，降低了成本。附图说明图1为识别物体流程图；图2为Multi-viewCNN模型的原理图；图3为控制烤箱智能加热流程图。具体实施方式下面通过具体实施方式结合附图对本专利技术作进一步详细说明。一些智能设备，如微波炉、蒸箱等类似设备，一般需要通过识别食物的种类、重量等参数实现智能加热，其中，识别食物的种类是通过图像识别，识别食物的重量是通过重量传感器识别；但是增加重量传感器会导到微波炉等类似设备的成本增加，且重量传感器的精度较难校准。目前，也有通过目标食物图像计算目标食物面积，然后通过得到的面积数据和获取到的目标食物密度计算出目标食物的重量，但是这种是通过一定的运算计算得到的目标食物面积，运算过程需要消耗时间，而微波炉等需要及时对食物加热，因此，通过一定时间计算得到食物重量的方法在微波炉、烤箱、微蒸烤一体机等类似设备中并不是一个好方法。因在微波炉、微蒸烤一体机等类似设备中已安装有摄像头，基于此，本申请提出摄像头与深度卷积神经网络模型相结合直接识别食物的种类、重量、数量和/或位置，识别速度快，且精确度高。实施例一：为不失一般性，基于上述构思，本例提供一种基于图像识别物体的方法，该方法应用在对智能设备腔体内的物体进行识别，智能设备腔体内安装有图像采集装置，图像采集装置具体为摄像头，用于采集智能设备腔体中待识别物体的图像，本例的方法流程图如图1所示，具体包括以下步骤。S101：获取图像采集装置采集智能设备腔体内待识别物体的图像；S102：将图像输入至深度卷积神经网络模型，利用深度卷积神经网络模型对图像进行识别获得待识别物体的种类、重量、数量和/或位置。因本例是采集摄像头结合深度卷积神经网络模型识别物体的种类、重量、数量和/或位置，在利用深度卷积神经网络模型进行识别之前需要先对深度卷积神经网络模型进行训练，因此，需要采集对深度卷积神经网络模型进行训练的训练数据。以物体为食物为例，有多种类型的食物，且摄像头在拍摄食物图像时，摄像头距离食物的远近不同所拍摄的图像中食物的大小也不同，及不同类型设备或不同系列设备其内部空间设备也不同，摄像头安装在设备中的位置也不同，为了解决这些不同，及采集到精确的训练数据，本例采集训练数据集时采用的基本方案是：创建与实际产品设备镜像的模拟腔体，也即是，模拟腔体的大小、形状与实际生产的本文档来自技高网...

【技术保护点】
1.一种基于图像识别物体的方法，其特征在于，所述方法应用在对智能设备腔体内的物体进行识别，所述智能设备腔体内安装有图像采集装置，所述图像采集装置用于采集所述智能设备腔体中待识别物体的图像，所述方法包括步骤：获取所述图像采集装置采集智能设备腔体内待识别物体的图像；将所述图像输入至深度卷积神经网络模型，利用所述深度卷积神经网络模型对所述图像进行识别获得待识别物体的种类、重量、数量和/或位置。

【技术特征摘要】
1.一种基于图像识别物体的方法，其特征在于，所述方法应用在对智能设备腔体内的物体进行识别，所述智能设备腔体内安装有图像采集装置，所述图像采集装置用于采集所述智能设备腔体中待识别物体的图像，所述方法包括步骤：获取所述图像采集装置采集智能设备腔体内待识别物体的图像；将所述图像输入至深度卷积神经网络模型，利用所述深度卷积神经网络模型对所述图像进行识别获得待识别物体的种类、重量、数量和/或位置。2.如权利要求1所述的方法，其特征在于，还包括采集训练数据集，利用采集的训练数据集对所述深度卷积神经网络模型进行训练的步骤，其中，采集训练数据集包括步骤：创建模拟腔体，所述模拟腔体的大小、形状与智能设备腔体的大小、形状相同；在所述模拟腔体内安装图像采集装置，所述模拟腔体内的图像采集装置的参数与所述智能设备腔体内的图像采集装置的参数相同，及所述模拟腔体内的图像采集装置的安装位置与所述智能设备腔体内的图像采集装置的安装位置、角度相同；利用所述模拟腔体内的图像采集装置对模拟腔体内的物体进行图像采集；对采集的图像进行特征值标定，标定的特征值作为训练数据，所述标定的特征值为物体种类、物体重量、物体数量和/或位置。3.如权利要求2所述的方法，其特征在于，所述深度卷积神经网络模型为MobileNetV2网络结构，所述标定的特征值为物体种类、物体重量和数量，所述MobileNetV2网络结构的损失函数为：loss(cls)+αloss(wt)+βloss(num)，其中，loss(cls)为物体类别的损失函数，α和β为平衡参数，loss(wt)为物体重量的损失函数，loss(num)为物体数量的损失函数。4.如权利要求2所述的方法，其特征在于，所述深度卷积神经网络模型为SSD网络结构，所述标定的特征值为物体种类、物体重量和物体在模拟腔体内的位置，所述SSD网络结构的损失函数为：loss(cls)+αloss(loc)+βloss(wt)，其中，α和β为平衡参数，loss(cls)为物体类别的损失函数，loss(loc)为...

【专利技术属性】
技术研发人员：娄军，鹿鹏，
申请(专利权)人：上海达显智能科技有限公司，
类型：发明
国别省市：上海,31