【技术实现步骤摘要】
本申请涉及智慧家庭，尤其涉及一种基于多模态数据的烹饪辅助方法、存储介质及电子装置。
技术介绍
1、现有技术中，用户在烹饪过程中遇到问题需要查询时，会通过用户语音进行识别，根据语音识别结果在寻找对应菜品的菜谱，对其涉及步骤的问题提供烹饪辅助信息。
2、然而对于用户提出的关于当前烹饪的菜品以及超出菜谱步骤范围的意图和问题时，例如“食物现在这个程度可以出锅了吗”以及“现在这个鸡翅熟了吗”等，无法准确确定用户对应的意图，并提供对应的烹饪辅助信息。
3、因此，充分了解用户关于当前烹饪菜品的问题，提供全面准确的烹饪辅助，是当前亟待解决的问题。
技术实现思路
1、本申请提供一种基于多模态数据的烹饪辅助方法、存储介质及电子装置，用以解决现有技术中无法准确确定用户对应的意图，并提供对应的烹饪辅助信息的缺陷，实现充分了解用户关于当前烹饪菜品的问题，提供全面准确的烹饪辅助。
2、本申请提供一种基于多模态数据的烹饪辅助方法，包括：
3、获取多模态数据，所述多模态数据包括语音数据和图像数据；
4、根据所述语音数据确定烹饪询问意图；
5、在所述烹饪询问意图为菜品询问意图的情况下，根据所述图像数据确定菜品图像信息；
6、根据所述菜品询问意图和所述菜品图像信息确定烹饪辅助信息，并将所述烹饪辅助信息推送至预设智能终端进行播放。
7、根据本申请提供的一种基于多模态数据的烹饪辅助方法，所述根据所述菜品询问意图和所述菜品信息确
8、根据所述菜品询问意图在预设烹饪知识数据库中确定目标菜品图像信息；
9、根据所述菜品图像信息和所述目标菜品图像确定菜品相似度；
10、根据所述菜品相似度确定烹饪辅助信息。
11、根据本申请提供的一种基于多模态数据的烹饪辅助方法，所述根据所述语音数据确定烹饪询问意图，包括：
12、检测所述语音数据是否包含烹饪关键字；
13、在检测到所述语音数据包含烹饪关键字的情况下，根据所述烹饪关键字确定烹饪询问意图。
14、根据本申请提供的一种基于多模态数据的烹饪辅助方法，所述烹饪辅助信息包括文字、语音、图像和视频的形式中的至少一种。
15、根据本申请提供的一种基于多模态数据的烹饪辅助方法，所述方法还包括：
16、在所述烹饪询问意图为动作询问意图的情况下，根据所述图像数据确定用户动作信息；
17、根据所述烹饪询问意图和所述用户动作信息确定第二烹饪辅助信息。
18、根据本申请提供的一种基于多模态数据的烹饪辅助方法，所述根据所述动作询问意图和所述用户动作信息确定第二烹饪辅助信息，包括：
19、根据所述动作询问意图在预设烹饪知识数据库中确定标准动作信息；
20、根据所述用户动作信息和所述标准动作信息确定动作相似度；
21、根据所述动作相似度确定第二烹饪辅助信息。
22、根据本申请提供的一种基于多模态数据的烹饪辅助方法，所述方法还包括：
23、将所述第二烹饪辅助信息通过文字、语音、图像和视频的形式中的至少一种推送至预设智能终端进行播放。
24、本申请还提供一种基于多模态数据的烹饪辅助装置，包括：
25、获取单元，用于获取多模态数据，所述多模态数据包括语音数据和图像数据；
26、语音理解单元，用于根据所述语音数据确定烹饪询问意图；
27、图像理解单元，用于在所述烹饪询问意图为菜品询问意图的情况下，根据所述图像数据确定菜品图像信息；
28、辅助信息单元，用于根据所述菜品询问意图和所述菜品图像信息确定烹饪辅助信息，并将所述烹饪辅助信息推送至预设智能终端进行播放。
29、本申请还提供一种电子装置，包括存储器和处理器，所述存储器中存储有计算机程序，所述处理器被设置为通过所述计算机程序执行实现如上述任一种所述基于多模态数据的烹饪辅助方法。
30、本申请还提供一种计算机可读的存储介质，所述计算机可读的存储介质包括存储的程序，其中，所述程序运行时执行实现如上述任一种所述基于多模态数据的烹饪辅助方法。
31、本申请还提供一种计算机程序产品，包括计算机程序，所述计算机程序被处理器执行时实现如上述任一种所述基于多模态数据的烹饪辅助方法。
32、本申请提供的基于多模态数据的烹饪辅助方法、存储介质及电子装置，通过获取包括语音数据和图像数据的多模态数据，根据语音数据确定烹饪询问意图，在烹饪询问意图为菜品询问意图的情况下根据图像数据确定菜品图像信息，结合菜品询问意图以及菜品图像信息充分了解用户要解决的关于烹饪菜品的问题，根据菜品询问意图和菜品图像信息提供全面准确的烹饪辅助，并将烹饪辅助信息推送至预设智能终端进行播放，提升用户体验。
本文档来自技高网...【技术保护点】
1.一种基于多模态数据的烹饪辅助方法，其特征在于，包括：
2.根据权利要求1所述的基于多模态数据的烹饪辅助方法，其特征在于，所述根据所述菜品询问意图和所述菜品信息确定烹饪辅助信息，包括：
3.根据权利要求1或2所述的多模态数据的烹饪辅助方法，其特征在于，所述根据所述语音数据确定烹饪询问意图，包括：
4.根据权利要求1所述基于多模态数据的烹饪辅助方法，其特征在于，所述烹饪辅助信息包括文字、语音、图像和视频的形式中的至少一种。
5.根据权利要求1所述的基于多模态数据的烹饪辅助方法，其特征在于，所述方法还包括：
6.根据权利要求5所述的基于多模态数据的烹饪辅助方法，其特征在于，所述根据所述动作询问意图和所述用户动作信息确定第二烹饪辅助信息，包括：
7.根据权利要求5所述基于多模态数据的烹饪辅助方法，其特征在于，所述方法还包括：
8.一种基于多模态数据的烹饪辅助装置，其特征在于，包括：
9.一种计算机可读的存储介质，其特征在于，所述计算机可读的存储介质包括存储的程序，其中，所述程序运行时执行权
10.一种电子装置，包括存储器和处理器，其特征在于，所述存储器中存储有计算机程序，所述处理器被设置为通过所述计算机程序执行权利要求1至7中任一项所述的方法。
...【技术特征摘要】
1.一种基于多模态数据的烹饪辅助方法，其特征在于，包括：
2.根据权利要求1所述的基于多模态数据的烹饪辅助方法，其特征在于，所述根据所述菜品询问意图和所述菜品信息确定烹饪辅助信息，包括：
3.根据权利要求1或2所述的多模态数据的烹饪辅助方法，其特征在于，所述根据所述语音数据确定烹饪询问意图，包括：
4.根据权利要求1所述基于多模态数据的烹饪辅助方法，其特征在于，所述烹饪辅助信息包括文字、语音、图像和视频的形式中的至少一种。
5.根据权利要求1所述的基于多模态数据的烹饪辅助方法，其特征在于，所述方法还包括：
6.根据权利要求5所述的基...
【专利技术属性】
技术研发人员：魏玉琼，王凯，栾天祥，王迪，
申请(专利权)人：海尔优家智能科技北京有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。