产生用于识别菜肴的训练数据制造技术

一种用于提供训练数据用于识别菜肴的方法，该方法包括以下步骤：在菜肴布置在烹饪设备中期间，检测该菜肴的图像，其中，从预确定的视角检测该图像；在该图像上确定该菜肴的对象边界；和提供包括该图像和所确定的对象边界的训练数据。训练数据。训练数据。

【技术实现步骤摘要】
【国外来华专利技术】产生用于识别菜肴的训练数据


[0001]本专利技术涉及对训练数据的产生。本专利技术特别是涉及对用于识别菜肴的训练数据的产生。

技术介绍

[0002]在烹饪期间或在烹饪后对菜肴在光学上进行分析能够有助于顺利地准备菜肴。有经验的厨师能够自己完成；缺乏经验的厨师或家庭用户可能依赖外部帮助。对菜肴进行光学分析的自动化的系统能够对该菜肴在光学上进行识别并与参照物进行比较。不仅为了进行识别而且为了进行比较，该系统必须事先用大量训练数据进行训练。
[0003]提供训练数据可能开销较大。对于多个菜肴图像，必须分别找到在这些图像上所示出的菜肴的对象边界并配属给该图像。该动作通常需要手动干预或手动监控。

技术实现思路

[0004]本专利技术所基于的任务在于说明一种改善的用于自动化地产生训练数据的技术，所述训练数据能够用于训练能够识别和/或评估菜肴的系统。本专利技术借助独立权利要求的主题来解决该任务。从属权利要求描述优选实施方式。
[0005]根据本专利技术的第一方面，一种用于提供训练数据用于识别菜肴的方法包括以下步骤：在菜肴布置在烹饪设备中期间检测该菜肴的图像，其中，从预确定的视角检测该图像；在该图像上确定该菜肴的对象边界；和提供包括该图像和所确定的对象边界的训练数据。所述训练数据特别是能够用于训练神经网络旨在识别菜肴。为此，优选将所述训练数据存储在服务器上或云中，并且例如与其他烹饪设备的训练数据结合，以便生成范围全面的训练数据存量。
[0006]根据本专利技术已认识到的是，烹饪设备中的菜肴通常总是以较少的变化布置在相同的位置。因此能够简单地制作菜肴的图像，其中，这些图像是从相同的或至少相似的视角拍摄的。这种拍摄能够具有大量共同性，这些共同性能够被考虑用于确定对象边界。因此能够以减少的开销或无手动开销地为系统提供训练数据用于识别菜肴。该系统能够被改善地训练用于例如在图像上对菜肴进行正确的识别和必要时进行评估。
[0007]烹饪设备特别是可以包括烤箱、蒸笼或类似设备，该烹饪设备特别是可以构造为家用器具或家用设备。特别是如果该家用器具是联网的，则能够在本地或在远程的专用部门执行对所述图像的检测和处理。因此能够简单地将多个家用器具用于提供训练数据。
[0008]在一种实施方式中，确定该烹饪设备的内部空间的陈设，其中，基于所确定的陈设来确定对象边界。特别是可以确定烹饪设备的类型或构造方式。内部陈设例如可以涉及尺寸、几何形状、内部空间中的可光学识别的元件或其他几何上的条件。例如还可以说明菜肴在内部空间被布置在怎样不同的高度处。还可以已知内部空间中的元件的颜色、结构或几何构型。这些元素能够用于在图像上的光学定向。对象边界能够更容易地被确定，使得它不包括属于内部空间的元素。
[0009]该陈设还可以包括用于在该烹饪设备中使用的配件。在此，该配件能够在所检测到的图像上被识别到。该配件例如可以包括托盘、通用平底锅、烤架、烤盘、平底锅、串签或烹饪温度计。对象边界能够更容易地被确定，使得它不包括被识别到的配件。
[0010]在另一实施方式中，在对图像进行检测期间确定对该菜肴的主动照明。然后可以将该图像在颜色方面关于所确定的照明进行标准化。例如可以确定安装在烹饪设备的内部空间中的照明。特别是能够根据烹饪设备的构造方式或型号来确定照明。照明的特性，特别是光源的位置或辐射特性以及所使用的色谱，能够被用于颜色标准化。由此能够改善在图像上所再现的菜肴在不同烹饪设备之间的可比较性。特别是能够关于预确定的照明配置或颜色配置来进行颜色标准化。
[0011]在第一变型中，烹饪设备包括固定内置的摄像机。由此能够简单地保持预确定的视角。在第二变型中，烹饪设备包括透明的玻璃板，其中，借助安装在该玻璃板的外侧的摄像机进行检测。该玻璃板特别是可以嵌入该烹饪设备的器具门中。这种玻璃板常常处于如烤箱、蒸具或微波炉等烹饪设备上。由此能够简化将任意现有的摄像机用于检测菜肴。同时，由于所述玻璃板的有限的面积能够确保以足够的精度保持预确定的视角。
[0012]检测可以借助摄像机进行，其中，可以确定该摄像机的检测参数。该检测参数特别是可以包括焦距、分辨率、颜色配置、位置或定向。例如，该摄像机可以包括移动设备，如平板电脑或智能手机。在这种情况下，特别是能够简单地确定这些设备关于烹饪设备的定向，如基于内置的加速度传感器。所检测到的图像可以关于检测参数被标准化。例如能够对特别是由所使用的光学装置所造成的失真在图像上进行考虑或主动补偿。摄像机的检测参数也可以被配属给图像。该检测参数能够改善在所检测到的图像之间的可比较性。另外的可能的检测参数例如包括曝光时间、焦距、光圈或主动辅助照明(灯具或闪光灯)。
[0013]该摄像机还可以设置为用于检测深度信息。在此能够基于所述深度信息来确定菜肴的对象边界。特别是能够基于所述深度信息确定：图像的哪些组成部分不是配属于菜肴而是配属于烹饪设备或配件。
[0014]根据本专利技术，可以附加地将另外的信息配属给图像，这些信息可以在进行创建期间被检测到。例如可以确定烹饪设备的烹饪参数，其中，可以将该烹饪参数配属给图像。烹饪参数例如可以包括该烹饪设备所执行的自动化程序。另外的可能烹饪参数可以包括菜肴在内部空间的高度、所选择的温度、已进行的烹饪持续时间或烹饪设备的运行模式。该运行模式例如可以说明被施加到菜肴上的热量是以怎样的方式产生的。从而例如可以区分顶部加热、底部加热、对流和烧烤。在对该实施方式的细化中，还可以对烹饪参数在时间上的变化过程进行确定并配属给图像。该时间上的变化过程可以延伸到过去和/或未来。
[0015]在该方法的一种特别有利的实施方式中，借助于神经网络来识别在对象边界之内所显示出的菜肴，以便提供关于所识别到的菜肴的数据。例如可以考虑深度卷积神经网络。在大多数情况下，在此得出具有多于一个菜肴候选的概率分布。就此而论有利的是，确定该烹饪设备的用户最近所看过的食谱，因为该食谱的主题和待识别的菜肴以不可忽视的概率存在彼此关联。通过结合该食谱的主题与所求取到的菜肴候选能够提高识别精度。此外能够以这种方式自动化地为神经网络生成带标签的训练数据。因为菜肴名可以从该食谱中被提取，从而不必手动输入菜肴名。
[0016]相应地在一种实施方式中，最大在对菜肴的图像进行检测之前的一个预确定时间
段内确定在该烹饪设备的区域内或通过该烹饪设备的注册用户对食谱的调用。该食谱可以从本地存储器或远程设备中调用。因此能够推断出，被检测到其图像的菜肴是基于该食谱的。可以将该食谱上的指示或该食谱的细节配属给该图像。该细节特别是可以包括菜肴的类型或名称。还可以将该菜肴的量、成分或待实现的特性配属给图像。以这种方式能够用有价值的元数据来充实所提供的训练数据，这些元数据的可利用性能够有助于训练该系统用于对菜肴进行识别和/或进行评估。
[0017]在一些实施方式中，借助于所调用的食谱来检验所识别到的菜肴，以便因此提高正确进行识别的可能性。然后例如可以将所识别到的菜肴作为标签配属给训练数据。以这种方式能够以减少的开销为神经网络创建附加地带标签本文档来自技高网...

【技术保护点】

【技术特征摘要】
【国外来华专利技术】1.一种用于为神经网络提供训练数据用于识别菜肴(110)的方法(200)，所述方法包括以下步骤：在所述菜肴布置在烹饪设备(105)中期间，检测(205)所述菜肴(110)的图像；
‑
其中，从预确定的视角检测所述图像；在所述图像上确定(225)所述菜肴(110)的对象边界；和提供(235)包括所述图像和所确定的对象边界的训练数据。2.根据权利要求1所述的方法(200)，其中，确定所述烹饪设备(105)的内部空间的陈设；并且其中，基于所确定的陈设来确定所述对象边界(225)。3.根据权利要求2所述的方法(200)，其中，所述陈设包括用于在所述烹饪设备(105)中使用的配件；并且其中，所述配件在所检测到的图像上被识别(225)到。4.根据前述权利要求中任一项所述的方法(200)，其中，在对所述图像进行检测(205)期间确定对所述菜肴(110)的主动照明(220)；并且其中，将所述图像在颜色方面关于所确定的照明进行标准化(225)。5.根据前述权利要求中任一项所述的方法(200)，其中，所述烹饪设备(105)包括透明的玻璃板(125)；并且其中，所述检测借助安装在所述玻璃板(125)的外侧的摄像机(115)进行。6.根据前述权利要求中任一项所述的方法(200)，其中，所述检测借助摄像机(115)进行；并且其中，确定(220)所述摄像机(115)的检测参数。7.根据前述权利要求中任一项所述的方法(200)，其中，所述摄像机(115)设置为用于检测深度信息；其中，基于所述深度信息来确定(225)所述菜肴(110)的所述对象边界。8.根据前述权利要求中任一项所述的方法(200)，其中，确定所述烹饪设备(105)的烹饪参数；并且其中，将所述烹饪参数配属...

【专利技术属性】
技术研发人员：T，
申请(专利权)人：BSH家用电器有限公司，
类型：发明
国别省市：