【技术实现步骤摘要】
本申请属于人工智能，具体涉及一种基于物品语义知识的服务意图识别方法及电子设备。
技术介绍
1、当前，服务机器人技术已成为机器人领域和人机交互领域的热点研究，相关技术瓶颈的不断突破必将对新一代人工智能的变革和发展起到推动作用。服务机器人技术的大力研发，一方面能缓解日益严重的保母型劳动力吃紧状况，另一方面能迎合信息时代下人们对智能生活的渴望。进一步，面向家庭环境应用的服务机器人是以实现人机共融为最终目标。因此，如何实现人类与家庭服务机器人的自然交互成为了其能否被居住者未来所接受的决定性因素。
2、自然语言作为人类最自然、舒适的表达方式，是人类与家庭服务机器人实现自然交互最理想的介质。虽然，现有的语音识别和机器翻译等自然语言处理技术，在学术领域和工业界都取得了较高的识别精度，但是这些技术无法直接移植到面向家庭任务执行的命令理解系统中。一方面，面向家庭任务的语言命令理解系统需要建立服务意图和家庭环境之间的联系，为机器人服务任务的执行提供必要决策信息；另一方面，面向家庭任务的语言命令普遍具有严重的语义缺失性，这对传统的语义理解系统来说是一项严峻的挑战。
3、研究发现，目前大部分家庭服务机器人语言命令理解系统都忽略了家庭环境中的固有的语义知识，导致机器人无法准确理解人类服务请求，不能为后续机器人的行为提供丰富的决策信息。
技术实现思路
1、本申请实施例的目的是提供一种基于物品语义知识的服务意图识别方法及电子设备，其通过构建物品的语义知识库，为机器人的服务意图识别提供先验
2、为了解决上述技术问题，本申请是这样实现的：
3、本申请实施例提供了一种基于物品语义知识的服务意图识别方法，包括：
4、1)获取机器人视野中的环境信息；
5、2)接收用户的服务请求，并利用自然语言处理技术获得对应的语言文本信息；
6、3)提取所述环境信息和所述语言文本信息的模态特征，输入跨模态信息融合模块，得到具有上下文信息的服务意图表征r；
7、4)搜集与服务任务相关的潜在物品清单，使用多类别语料信息对清单中的物品进行语义补充，并利用预训练语言模型提取相应的文本特征a＝[a1，...，an]，其中ai表示第i类语料信息对应的文本特征，利用来自不同类别语料信息的文本特征，构建关于物品的语义知识表征库作为服务意图识别的先验知识；
8、5)将具有上下文信息的服务意图表征和物品的语义知识表征库采用自适应融合方式得到具有物品语义先验的服务意图表征r′；
9、6)将具有物品语义先验的服务意图表征输入服务意图解码模块，获得用户服务请求对应的服务意图。
10、可选的，步骤2)中，用户的服务请求为语音信号。
11、可选的，步骤2)中，所述利用自然语言处理技术获得对应的语言文本信息，包括：
12、利用语音识别网络将接收的语音信号转录为语言文本信息。
13、可选的，步骤3)中，提取所述环境信息和所述语言文本信息的模态特征，包括：
14、利用图像特征提取网络提取环境信息的环境视觉特征；利用预训练语言模型提取语言文本信息的文本特征序列。
15、可选的，步骤3)中，所述输入跨模态信息融合模块，得到具有上下文信息的服务意图表征r，包括：
16、3.1)针对输入的环境视觉特征，利用线性变换进行特征降维处理；
17、3.2)针对输入的文本特征序列，首先利用1d-cnn进行卷积操作，通过文本特征序列相邻位置间的局部相关性，增强文本特征序列的局部特征，然后通过最大池化运算操作选取文本特征序列中的最大值作为语言文本信息的文本特征，最后利用线性变换对该值进行特征降维处理；
18、3.3)利用特征拼接的方法融合降维后的环境视觉特征和文本特征序列，使得同一语义概念通过多模态融合实现信息互补增强，并利用线性变换将融合后的低纬度特征升维到具有固定大小维度的特征空间，得到具有上下文信息的服务意图表征r。
19、可选的，步骤5)中，所述采用自适应融合方式得到具有物品语义先验的服务意图表征r′，包括：
20、5.1)求取具有上下文信息的服务意图表征与物品的语义知识表征库中各类语料信息对应的文本特征之间的语义相似系数
21、5.2)将语义相似系统进行归一化处理，消除不同类别物品语料知识的数量不平衡所带来的归纳偏置影响，计算式为：
22、
23、式中αi为服务意图表征和物品的语义先验知识表征库中第i类语料信息对应的文本特征的语义相似系数；
24、5.3)求取具有物品语义先验的服务意图表征r′，计算式为：
25、
26、可选的，步骤6)中，将具有物品语义先验的服务意图表征输入服务意图解码模块，获得用户服务请求对应的服务意图，包括：
27、6.1)根据具有物品语义先验的服务意图表征，回归输出服务请求对应的动作类别的置信度分数；
28、6.2)由具有物品语义先验的服务意图表征和回归所得的动作类别置信度分数共同决定服务请求所需要交互的物体类别，计算式为：
29、object＝max(objr+obja)
30、式中objr表示由具有物品语义先验的服务意图表征，回归得到的所需要交互物体类别概率；obja表示由上一步预测的动作类别回归所得到的所需要交互的物体类别概率；
31、6.3)将预测所得的服务请求对应的动作类别以及动作类别所需要交互的物体类别一起作为服务请求对应的服务意图输出。
32、可选的，步骤6)中，所述服务意图由执行服务任务所需要的动作类型及执行服务任务所交互的物品类别组成。
33、本申请实施例提供了一种电子设备，该电子设备包括处理器、存储器及存储在所述存储器上并可在所述处理器上运行的程序或指令，所述程序或指令被所述处理器执行时实现所述的方法的步骤。
34、本申请实施例提供了一种可读存储介质，所述可读存储介质上存储程序或指令，所述程序或指令被处理器执行时实现所述的方法的步骤。
35、本申请的有益效果如下：
36、1、本申请提供了一种家庭物品语义知识构建技术，针对家庭场景中常见的物品，使用多类别语料信息对物品进行语义补充，并利用预训练语言模型提取相应的文本特征，从而得到关于物品的语义知识表征库；
37、2、本申请提供了一种自适应融合技术，将家庭物品的先验知识融合到服务机器人语言命令理解流程中，给服务机器人在语义理解时提供外部知识，提升家庭服务机器人理解人类意图的准确率；
38、3、本申请提供的物品语义知识构建技术从多类别语料角度引入了物品的语义信息，能为后续服务意图的识别提供更丰富的物品知识信息；
39、4、本申请提供的自适应融合技术，能使模型自适应地决本文档来自技高网...
【技术保护点】
1.一种基于物品语义知识的服务意图识别方法，其特征在于，包括：
2.根据权利要求1所述的方法，其特征在于，步骤2)中，用户的服务请求为语音信号。
3.根据权利要求2所述的方法，其特征在于，步骤2)中，所述利用自然语言处理技术获得对应的语言文本信息，包括：
4.根据权利要求1所述的方法，其特征在于，步骤3)中，提取所述环境信息和所述语言文本信息的模态特征，包括：
5.根据权利要求4所述的方法，其特征在于，步骤3)中，所述输入跨模态信息融合模块，得到具有上下文信息的服务意图表征R，包括：
6.根据权利要求1所述的方法，其特征在于，步骤5)中，所述采用自适应融合方式得到具有物品语义先验的服务意图表征R′，包括：
7.根据权利要求6所述的方法，其特征在于，步骤6)中，将具有物品语义先验的服务意图表征输入服务意图解码模块，获得用户服务请求对应的服务意图，包括：
8.根据权利要求7所述的方法，其特征在于，步骤6)中，所述服务意图由执行服务任务所需要的动作类型及执行服务任务所交互的物品类别组成。
9
...【技术特征摘要】
1.一种基于物品语义知识的服务意图识别方法，其特征在于，包括：
2.根据权利要求1所述的方法，其特征在于，步骤2)中，用户的服务请求为语音信号。
3.根据权利要求2所述的方法，其特征在于，步骤2)中，所述利用自然语言处理技术获得对应的语言文本信息，包括：
4.根据权利要求1所述的方法，其特征在于，步骤3)中，提取所述环境信息和所述语言文本信息的模态特征，包括：
5.根据权利要求4所述的方法，其特征在于，步骤3)中，所述输入跨模态信息融合模块，得到具有上下文信息的服务意图表征r，包括：
6.根据权利要求1所述的方法，其特征在...
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。