【技术实现步骤摘要】
本专利技术属于家用电器，具体地说，涉及一种家用电器的控制方法及装置。
技术介绍
1、人机交互的技术在日常生活中已经普遍应用，例如通过在家用电器的显示屏上显示虚拟人，用户和虚拟人通过对话的形式进行交互，但是现有技术中，只能根据已有的人物/动物模型来生成虚拟人，但是在显示屏上显示的虚拟人并不一定是用户喜欢的人物形象，因此仍然存在用户无法灵活选择自己喜欢的虚拟人物，用户体验感较差的问题。
2、有鉴于此特提出本专利技术。
技术实现思路
1、本专利技术要解决的技术问题在于克服现有技术的不足，提供一种家用电器的控制方法，以解决现有技术中现有技术只能根据已有的人物/动物模型来生成数字虚拟人，用户无法按照自己的需求灵活定制虚拟人物。
2、为解决上述技术问题，本专利技术采用技术方案的基本构思是：
3、第一方面，本专利技术提供了一种家用电器的控制方法，包括：
4、获取目标图像和用户音频数据；所述目标图像为用户选择的目标虚拟人物的图像；所述用户音频数据为用户与家用电器交互时的数据；
5、基于所述目标图像和预设模板视频，利用表情迁移模型生成含有所述目标虚拟人物的目标合成视频；
6、基于对所述用户音频数据进行解析得到的用户意图，确定答复音频数据；
7、根据所述目标合成视频和所述答复音频数据生成含有所述目标虚拟人物的交互视频；
8、将所述交互视频传输至所述家用电器，以使用户与所述目标虚拟人物互动。
9、
10、利用人脸检测模型对所述目标图像进行人脸检测得到第一人物特征数据；
11、利用人脸检测模型对所述预设模板视频中的每帧真人图像进行人脸检测得到每帧图像的第二人物特征数据；
12、基于每帧真人图像的第二人物特征数据和所述第一人物特征数据，利用表情迁移模型生成目标合成图像。
13、可选的，基于对所述用户音频数据进行解析得到的用户意图，确定答复音频数据，包括：
14、根据所述用户意图从预设文本数据库中确定答复文本；
15、利用预设语音合成方法将所述答复文本转换为答复音频数据。
16、可选的，所述交互视频包括唇形图像数据，根据所述目标合成视频和所述答复音频数据生成含有所述目标虚拟人物的交互视频，包括：
17、利用所述人脸检测模型对所述目标合成视频中的每帧目标合成图像进行人脸检测得到每帧所述目标合成图像的第三人物特征数据；
18、对每帧所述目标合成图像的第三人脸特征数据进行识别得到每帧所述目标合成图像的唇形特征数据；
19、将每帧所述目标合成图像的唇形特征数据以及所述答复音频数据输入至唇形生成模型中得到唇形图像数据。
20、可选的，所述方法还包括：
21、根据所述用户意图生成相应控制指令以控制所述家用电器响应所述控制指令。
22、第二方面，本专利技术提供了一种家用电器的控制装置，包括：
23、获取模块，用于获取目标图像和用户音频数据；所述目标图像为用户选择的目标虚拟人物的图像；所述用户音频数据为用户与家用电器交互时的数据；
24、第一生成模块，用于基于所述目标图像和预设模板视频，利用表情迁移模型生成含有所述目标虚拟人物的目标合成视频；
25、确定模块，用于基于对所述用户音频数据进行解析得到的用户意图，确定答复音频数据；
26、第二生成模块，用于根据所述目标合成视频和所述答复音频数据生成含有所述目标虚拟人物的交互视频；
27、传输模块，用于将所述交互视频传输至所述家用电器，以使用户与所述目标虚拟人物互动。
28、可选的，所述第一生成模块包括：
29、第一检测单元，用于利用人脸检测模型对所述目标图像进行人脸检测得到第一人物特征数据；
30、第二检测单元，用于利用人脸检测模型对所述预设模板视频中的每帧真人图像进行人脸检测得到每帧图像的第二人物特征数据；
31、第一生成单元，用于基于每帧真人图像的第二人物特征数据和所述第一人物特征数据，利用表情迁移模型生成目标合成图像。
32、可选的，所述确定模块包括：
33、确定单元，用于根据所述用户意图从预设文本数据库中确定答复文本；
34、转换单元，用于利用预设语音合成方法将所述答复文本转换为答复音频数据。
35、可选的，所述第二生成模块，包括：
36、第三检测单元，用于利用所述人脸检测模型对所述目标合成视频中的每帧目标合成图像进行人脸检测得到每帧所述目标合成图像的第三人物特征数据；
37、识别单元，用于对每帧所述目标合成图像的第三人脸特征数据进行识别得到每帧所述目标合成图像的唇形特征数据；
38、第二生成单元，用于将每帧所述目标合成图像的唇形特征数据以及所述答复音频数据输入至唇形生成模型中得到唇形图像数据。
39、可选的，所述装置还包括：
40、控制指令生成单元，用于根据所述用户意图生成相应控制指令以控制所述家用电器响应所述控制指令。
41、第三方面，本专利技术还提供了一种计算机设备，包括：处理器、存储器和总线，所述存储器存储有所述处理器可执行的机器可读指令，当所述计算机设备运行时，所述处理器与所述存储器之间通过总线通信，所述处理器执行所述机器可读指令使时实现第一方面中任一项一种家用电器的控制方法。
42、第四方面，本专利技术还提供了一种计算机存储介质，所述计算机存储介质存储有计算机可执行指令，该计算机可执行指令被处理器执行时实现第一方面中任一项所述的一种家用电器的控制方法。
43、本专利技术首先获取目标图像和用户音频数据；所述目标图像为用户选择的目标虚拟人物的图像；所述用户音频数据为用户与家用电器交互时的数据；然后基于所述目标图像和预设模板视频，利用表情迁移模型生成含有所述目标虚拟人物的目标合成视频；再然后基于对所述用户音频数据进行解析得到的用户意图，确定答复音频数据；根据所述目标合成视频和所述答复音频数据生成含有所述目标虚拟人物的交互视频；最后将所述交互视频传输至所述家用电器，以使用户与所述目标虚拟人物互动。本专利技术按照用户的需求灵活定制虚拟人物，实现了个性化服务，同时生成的交互视频中的目标虚拟人物具有真人表情，使得用户与家用电器的交互过程更具有互动感，提升了用户的体验感。
44、下面结合附图对本专利技术的具体实施方式作进一步详细的描述。
本文档来自技高网...【技术保护点】
1.一种家用电器的控制方法，其特征在于，包括：
2.根据权利要求1所述的一种家用电器的控制方法，其特征在于，所述目标合成视频包括多帧目标合成图像，基于所述目标图像和预设模板视频，利用表情迁移模型生成含有所述目标虚拟人物的目标合成视频，包括：
3.根据权利要求1所述的一种家用电器的控制方法，其特征在于，基于对所述用户音频数据进行解析得到的用户意图，确定答复音频数据，包括：
4.根据权利要求2所述的一种家用电器的控制方法，其特征在于，所述交互视频包括唇形图像数据，根据所述目标合成视频和所述答复音频数据生成含有所述目标虚拟人物的交互视频，包括：
5.根据权利要求1所述的一种家用电器的控制方法，其特征在于，还包括：
6.一种家用电器的控制装置，其特征在于，包括：
7.根据权利要求6所述的一种家用电器的控制装置，其特征在于，包括：
8.根据权利要求6所述的一种家用电器的控制装置，其特征在于，还包括：
9.一种计算机设备，包括存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，其
10.一种计算机可读存储介质，所述计算机可读存储介质上存储有计算机程序，其特征在于，所述计算机程序被处理器运行时执行上述权利要求1-6中任一项所述的方法的步骤。
...【技术特征摘要】
1.一种家用电器的控制方法，其特征在于，包括：
2.根据权利要求1所述的一种家用电器的控制方法，其特征在于，所述目标合成视频包括多帧目标合成图像，基于所述目标图像和预设模板视频，利用表情迁移模型生成含有所述目标虚拟人物的目标合成视频，包括：
3.根据权利要求1所述的一种家用电器的控制方法，其特征在于，基于对所述用户音频数据进行解析得到的用户意图，确定答复音频数据，包括：
4.根据权利要求2所述的一种家用电器的控制方法，其特征在于，所述交互视频包括唇形图像数据，根据所述目标合成视频和所述答复音频数据生成含有所述目标虚拟人物的交互视频，包括：
5.根据权利要求1所述的一种家用电...
【专利技术属性】
技术研发人员：李世成，许升，黄振兴，
申请(专利权)人：青岛海尔洗衣机有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。