一种基于行为分析的厨房智能机器人及其操作方法技术

本发明专利技术一种基于行为分析的厨房智能机器人及其操作方法，机器人包括语音采集器、视频采集器、中央处理器和语音播放器，所述中央处理器包括信息接收模块、语义解析模块、视频分析模块、语音合成模块和信息发送模块，操作方法为：操作者利用语音采集器、语义解析模块和语音播放器与机器人进行互动，同时通过视频采集器采集制作视频，通过视频分析模块分析制作步骤是否正确以及是否完成，完成后提示一下步骤操作流程。制作者在制作菜肴时，使用该厨房智能机器人，能够指导制作者逐步完成菜肴制作，而且能够与制作者进行互动，使得制作者制作出来的食物口感和外相较好。

A kitchen intelligent robot based on behavior analysis and its operation method

The invention relates to a kitchen intelligent robot based on behavior analysis and its operation method. The robot comprises a voice collector, a video collector, a central processor and a voice player. The central processor comprises an information receiving module, a semantic parsing module, a video analysis module, a speech synthesis module and an information transmitting module. The operation method is as follows: the operator uses the voice collector, semantic analysis module and voice player to interact with the robot, while collecting and making video through the video collector, through the video analysis module to analyze whether the production steps are correct and complete, after completion prompt the step operation process. When making dishes, the producer uses the kitchen intelligent robot, which can guide the producer to gradually complete the dish production, and can interact with the producer, making the food produced by the producer taste and appearance better.

【技术实现步骤摘要】
一种基于行为分析的厨房智能机器人及其操作方法
本专利技术涉及一种机器人，尤其涉及一种厨房智能机器人及其操作方法。
技术介绍
目前，人们在自己制作菜肴时，如果是自己精通的菜肴，可以自己独立完成，如果需要制作一些较高难度或者自己不擅长的菜肴时，人们往往都会参考菜谱来制作，参考菜谱来制作菜肴对于有一定厨艺的人来说，还易于掌握，但是针对毫无厨艺的人来说，基本上就不会制作。传统的菜谱指导方案为单方向信息传递式的，在实际进行菜谱加工时，有一定指导意义，但是尚无法做到完全解放操作者的双手，也就无法满足便捷易用的诉求，制作者一边参考菜谱，一边制作，对于制作者来说是疲于应付，制作出来的食物口感和外相往往较差。菜谱最为常见的菜谱指导也是文字指导，或者菜谱加工过程的视频指导，主要为单方向信息传递模式，并没有与制作者进行互动，导致制作出来的食物口感和外相较差。
技术实现思路
为了解决现有通过菜谱制作菜肴存在的上述问题，本专利技术提供了一种基于行为分析的厨房智能机器人，制作者在制作菜肴时，使用该厨房智能机器人，能够指导制作者逐步完成菜肴制作，而且能够与制作者进行互动，使得制作者制作出来的食物口感和外相较好。为解决上述技术问题，本专利技术所采用的技术方案是：一种基于行为分析的厨房智能机器人，其特征在于：包括语音采集器、视频采集器、中央处理器和语音播放器，所述中央处理器包括信息接收模块、语义解析模块、视频分析模块、语音合成模块和信息发送模块，所述语音采集器用于采集菜肴制作者制作菜肴时发出的语音，并将采集到的语音发送给中央处理器，所述视频采集器用于采集菜肴制作者制作菜肴时的视频，并将采集到的视频发送给中央处理器，所述信息接收模块用于接收语音采集器发送过来的语音以及视频采集器发送过来的视频，并将接收到的语音和视频分别发送给语义解析模块和视频分析模块，所述语义解析模块用于对接收到的语音进行解析，分析出制作者的诉求，同时根据分析出来的诉求为制作者找到相应答案，并将响应答案发送给语音合成模块，所述视频分析模块用于将接收到视频与事先存入的菜谱操作视频进行比对，判断出接收到的视频是哪一个操作步骤的操作场景，然后再判断该操作场景是否完成，如果完成，则将要进行的下一步操作流程指导发送给语音合成模块，所述语音合成模块根据语义解析模块发送过来响应答案和视频分析模块发送过来的下一步操作流程指导，生成对应的语音，并将生成的语音发送给信息发送模块，所述信息发送模块将接收到的语音发送给语音播放器进行播放。所述视频分析模块是依赖于预置的图像卷积网络模型来进行判断的，该图像卷积网络模型的生成，需要采集不同食谱操作流程的视频图像，结合卷积神经网络算法，找出各视频图像、各个操作步骤具有共性高维特征，图像卷积网络模型在判断时，根据获取到的视频图像，通过对视频图像进行卷积操作，找出视频图像的共性高维特征，然后依据图像卷积网络模型中的共性高维特征，通过分类层进行回归分类，从而判断出接收到的视频是哪一个操作步骤的操作场景，以及该场景是否完成。所述视频分析模块还用于对最终加工完成的食品进行评分。所述中央处理器还包括社交模块，该社交模块用于制作者直播操作视频和网络分享。所述中央处理器还连接有触摸屏。本专利技术还提供了上述厨房智能机器人的操作方法：步骤1，制作者通过触摸屏输入或者通过语音采集器语音输入要制作的菜品名称，触摸屏或者语音采集器将菜品名称发送给中央处理器，步骤2，中央处理器在查询到对应的菜谱后，向语音播放器发送语音，指导制作者开始制作，步骤3，视频采集器将制作者的制作过程视频采集后发送到中央处理器，中央处理器判断出视频是哪一个操作步骤的操作场景，然后判断操作场景是否完成，如果完成，中央处理器将要进行的下一步操作流程指导发送给语音播放器进行播放，提示制作者进行操作并讲解操作要领，直到菜品制作完成。在步骤3中，如果制作者有问题，通过语音采集器将问题发送到中央处理器，中央处理器找到相应的处理办法后，通过语音播放器播放。与现有技术相比，本专利技术具有以下有益效果：本专利技术通过视频采集器捕捉操作者视频图像进行操作场景识别，通过语音采集器、语义分析模块和语音播放模块实现语音交互，来进行双方的互动交流。从而彻底的解放操作者的双手。根据视频识别出来的操作场景，判断出是哪一个操作步骤，然后通过智能语音，来进行不同阶段语音操作指导，彻底解放了制作者的双手，满足了制作者便捷易用的诉求。附图说明图1为本专利技术功能模块结构示意图。具体实施方式一种基于行为分析的厨房智能机器人，其特征在于：包括语音采集器、视频采集器、中央处理器和语音播放器，所述中央处理器包括信息接收模块、语义解析模块、视频分析模块、语音合成模块和信息发送模块，所述语音采集器用于采集菜肴制作者制作菜肴时发出的语音，并将采集到的语音发送给中央处理器，所述视频采集器用于采集菜肴制作者制作菜肴时的视频，并将采集到的视频发送给中央处理器，所述信息接收模块用于接收语音采集器发送过来的语音以及视频采集器发送过来的视频，并将接收到的语音和视频分别发送给语义解析模块和视频分析模块，所述语义解析模块用于对接收到的语音进行解析，分析出制作者的诉求，同时根据分析出来的诉求为制作者找到相应答案，并将响应答案发送给语音合成模块，所述视频分析模块用于将接收到视频与事先存入的菜谱操作视频进行比对，判断出接收到的视频是哪一个操作步骤的操作场景，然后再判断该操作场景是否完成，如果完成，则将要进行的下一步操作流程指导发送给语音合成模块，所述语音合成模块根据语义解析模块发送过来响应答案和视频分析模块发送过来的下一步操作流程指导，生成对应的语音，并将生成的语音发送给信息发送模块，所述信息发送模块将接收到的语音发送给语音播放器进行播放。所述视频分析模块是依赖于预置的图像卷积网络模型来进行判断的，该图像卷积网络模型的生成，需要采集不同食谱操作流程的视频图像，结合卷积神经网络算法，找出各视频图像、各个操作步骤具有共性高维特征，图像卷积网络模型在判断时，根据获取到的视频图像，通过对视频图像进行卷积操作，找出视频图像的共性高维特征，然后依据图像卷积网络模型中的共性高维特征，通过分类层进行回归分类，从而判断出接收到的视频是哪一个操作步骤的操作场景，以及该场景是否完成。所述视频分析模块还用于对最终加工完成的食品进行评分。所述中央处理器还包括社交模块，该社交模块用于制作者直播操作视频和网络分享。所述中央处理器还连接有触摸屏。下面结合实施例对本专利技术作进一步的描述，所描述的实施例仅仅是本专利技术一部分实施例，并不是全部的实施例。基于本专利技术中的实施例，本领域的普通技术人员在没有做出创造性劳动前提下所获得的其他所用实施例，都属于本专利技术的保护范围。实施例1以酸辣土豆丝为例，传统菜谱的做法为：食材：土豆300克、青椒1/2个、红椒1/2个、剁椒10克、姜10g、蒜10g、葱10g、盐5g、鸡粉3g、白醋15g、香油5g、味精3g。做法：1、先将土豆去皮洗净，切丝，将切好的土豆丝泡凉水里，防止土豆变黑；2、青红椒洗净去蒂去筋膜，切丝备用；3、锅内加清水,水烧开放2克盐，放入切好的土豆丝，焯水捞出备用；4、葱姜蒜洗净，蒜切沫，葱姜切片，剁椒切成沫备用；5、锅内下20克色拉油，大火将油烧至7成热，下葱姜蒜各10克，剁椒沫10本文档来自技高网...

【技术保护点】
1.一种基于行为分析的厨房智能机器人，其特征在于：包括语音采集器、视频采集器、中央处理器和语音播放器，所述中央处理器包括信息接收模块、语义解析模块、视频分析模块、语音合成模块和信息发送模块，所述语音采集器用于采集菜肴制作者制作菜肴时发出的语音，并将采集到的语音发送给中央处理器，所述视频采集器用于采集菜肴制作者制作菜肴时的视频，并将采集到的视频发送给中央处理器，所述信息接收模块用于接收语音采集器发送过来的语音以及视频采集器发送过来的视频，并将接收到的语音和视频分别发送给语义解析模块和视频分析模块，所述语义解析模块用于对接收到的语音进行解析，分析出制作者的诉求，同时根据分析出来的诉求为制作者找到相应答案，并将响应答案发送给语音合成模块，所述视频分析模块用于将接收到视频与事先存入的菜谱操作视频进行比对，判断出接收到的视频是哪一个操作步骤的操作场景，然后再判断该操作场景是否完成，如果完成，则将要进行的下一步操作流程指导发送给语音合成模块，所述语音合成模块根据语义解析模块发送过来响应答案和视频分析模块发送过来的下一步操作流程指导，生成对应的语音，并将生成的语音发送给信息发送模块，所述信息发送模块将接收到的语音发送给语音播放器进行播放。...

【技术特征摘要】
1.一种基于行为分析的厨房智能机器人，其特征在于：包括语音采集器、视频采集器、中央处理器和语音播放器，所述中央处理器包括信息接收模块、语义解析模块、视频分析模块、语音合成模块和信息发送模块，所述语音采集器用于采集菜肴制作者制作菜肴时发出的语音，并将采集到的语音发送给中央处理器，所述视频采集器用于采集菜肴制作者制作菜肴时的视频，并将采集到的视频发送给中央处理器，所述信息接收模块用于接收语音采集器发送过来的语音以及视频采集器发送过来的视频，并将接收到的语音和视频分别发送给语义解析模块和视频分析模块，所述语义解析模块用于对接收到的语音进行解析，分析出制作者的诉求，同时根据分析出来的诉求为制作者找到相应答案，并将响应答案发送给语音合成模块，所述视频分析模块用于将接收到视频与事先存入的菜谱操作视频进行比对，判断出接收到的视频是哪一个操作步骤的操作场景，然后再判断该操作场景是否完成，如果完成，则将要进行的下一步操作流程指导发送给语音合成模块，所述语音合成模块根据语义解析模块发送过来响应答案和视频分析模块发送过来的下一步操作流程指导，生成对应的语音，并将生成的语音发送给信息发送模块，所述信息发送模块将接收到的语音发送给语音播放器进行播放。2.根据权利要求1所述的一种基于行为分析的厨房智能机器人，其特征在于：所述视频分析模块是依赖于预置的图像卷积网络模型来进行判断的，该图像卷积网络模型的生成，需要采集不同食谱操作流程的视频图像，结合卷积神经网络算法，找出各视频图像、各个操作步骤具有共性高维特征，图像卷积网络模型在判...

【专利技术属性】
技术研发人员：张飞宇，潘晓克，
申请(专利权)人：成都昂联科技有限公司，
类型：发明
国别省市：四川,51