【技术实现步骤摘要】
本专利技术涉及智能交互领域，具体而言，涉及一种触屏与语音融合交互方法、装置、计算机设备及可读存储介质。
技术介绍
1、随着智能设备的广泛应用，用户交互方式不断发展。触屏技术提供直观的操作界面，适合视觉操作且广泛应用于各类设备。语音技术近年来准确率大幅提升，在许多场景下能便捷地实现人机交互。然而，单一的交互方式存在局限性。例如在一些场景下，触屏操作可能受环境或用户身体状态影响(如视力不佳或双手被占用)，而语音识别受噪音等因素干扰。
技术实现思路
1、本专利技术的目的在于提供一种触屏与语音融合交互方法、装置、计算机设备及可读存储介质。
2、第一方面，本专利技术实施例提供一种触屏与语音融合交互方法，包括：
3、获取目标用户输入的目标需求指令，所述目标需求指令为触屏指令或语音指令；
4、将所述目标需求指令发送至中控服务进行处理，得到处理后的目标需求指令；
5、将所述处理后的目标需求指令发送至多模态交互引擎进行处理，得到用户需求反馈结果；
6、通过所述中控服务对所述用户需求反馈结果进行处理，得到最终需求反馈结果并进行展示。
7、在一种可能的实施方式中，在所述目标需求指令为所述语音指令的情况下，所述将所述目标需求指令发送至中控服务进行处理，得到处理后的目标需求指令，包括：
8、通过所述中控服务调用asr服务对所述语音指令进行转换，得到所述语音指令对应的文字指令。
9、在一种可能的实施方式中，所述将所
10、通过所述多模态交互引擎对所述文字指令进行信息抽取和语义理解，得到文字指令关键信息；
11、通过所述多模态交互引擎调用预先训练的对话模型对所述文字指令关键信息进行处理，得到所述文字指令对应的文字反馈结果。
12、在一种可能的实施方式中，所述通过所述中控服务对所述用户需求反馈结果进行处理，得到最终需求反馈结果并进行展示，包括：
13、通过所述中控服务调用tts服务和ttsa服务对所述文字反馈结果进行转换，得到对应的语音反馈结果和虚拟人反馈结果；
14、基于所述语音反馈结果进行流式语音播报，并控制虚拟人执行所述虚拟人反馈结果。
15、在一种可能的实施方式中，所述方法还包括：
16、将所述目标需求指令实时同步至redis数据库中进行缓存，并配置针对所述目标需求指令的过期时间和索引策略。
17、在一种可能的实施方式中，所述方法还包括：
18、获取所述目标用户的历史行为和用户画像；
19、根据所述历史行为和所述用户画像作为所述对话模型的优化数据。
20、在一种可能的实施方式中，所述目标需求指令包括健康监测指令，所述最终需求反馈结果包括健康反馈结果。
21、第二方面，本专利技术实施例提供一种触屏与语音融合交互装置，包括：
22、获取模块，用于获取目标用户输入的目标需求指令，所述目标需求指令为触屏指令或语音指令；
23、交互模块，用于将所述目标需求指令发送至中控服务进行处理，得到处理后的目标需求指令；将所述处理后的目标需求指令发送至多模态交互引擎进行处理，得到用户需求反馈结果；通过所述中控服务对所述用户需求反馈结果进行处理，得到最终需求反馈结果并进行展示。
24、第三方面，本专利技术实施例提供一种计算机设备，所述计算机设备包括处理器及存储有计算机指令的非易失性存储器，所述计算机指令被所述处理器执行时，所述计算机设备执行第一方面所述的方法。
25、第四方面，本专利技术实施例提供一种可读存储介质，所述可读存储介质包括计算机程序，所述计算机程序运行时控制所述可读存储介质所在计算机设备执行第一方面所述的方法。
26、相比现有技术，本专利技术提供的有益效果包括：采用本专利技术公开的一种触屏与语音融合交互方法、装置、计算机设备及可读存储介质，通过获取用户触屏或语音的目标需求指令，将其发至中控服务处理得到处理后的指令，再送至多模态交互引擎获取用户需求反馈结果，最后中控服务处理该结果得到最终需求反馈结果并展示。此方法融合两种交互方式，提高交互的灵活性、准确性和便捷性，以适应不同场景下的用户需求。
本文档来自技高网...【技术保护点】
1.一种触屏与语音融合交互方法，其特征在于，包括：
2.根据权利要求1所述的方法，其特征在于，在所述目标需求指令为所述语音指令的情况下，所述将所述目标需求指令发送至中控服务进行处理，得到处理后的目标需求指令，包括：
3.根据权利要求2所述的方法，其特征在于，所述将所述处理后的目标需求指令发送至多模态交互引擎进行处理，得到用户需求反馈结果，包括：
4.根据权利要求3所述的方法，其特征在于，所述通过所述中控服务对所述用户需求反馈结果进行处理，得到最终需求反馈结果并进行展示，包括：
5.根据权利要求1所述的方法，其特征在于，所述方法还包括：
6.根据权利要求3所述的方法，其特征在于，所述方法还包括：
7.根据权利要求1所述的方法，其特征在于，所述目标需求指令包括健康监测指令，所述最终需求反馈结果包括健康反馈结果。
8.一种触屏与语音融合交互装置，其特征在于，包括：
9.一种计算机设备，其特征在于，所述计算机设备包括处理器及存储有计算机指令的非易失性存储器，所述计算机指令被所述处理器执行时，所
10.一种可读存储介质，其特征在于，所述可读存储介质包括计算机程序，所述计算机程序运行时控制所述可读存储介质所在计算机设备执行权利要求1-7中任意一项所述的方法。
...【技术特征摘要】
1.一种触屏与语音融合交互方法，其特征在于，包括：
2.根据权利要求1所述的方法，其特征在于，在所述目标需求指令为所述语音指令的情况下，所述将所述目标需求指令发送至中控服务进行处理，得到处理后的目标需求指令，包括：
3.根据权利要求2所述的方法，其特征在于，所述将所述处理后的目标需求指令发送至多模态交互引擎进行处理，得到用户需求反馈结果，包括：
4.根据权利要求3所述的方法，其特征在于，所述通过所述中控服务对所述用户需求反馈结果进行处理，得到最终需求反馈结果并进行展示，包括：
5.根据权利要求1所述的方法，其特征在于，所述方法还包括：
6.根据权...
【专利技术属性】
技术研发人员：陈家涛，孙曼青，陈攀，
申请(专利权)人：暗物质北京智能科技有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。