自动问答匹配方法、装置、计算机设备及存储介质制造方法及图纸

本申请实施例属于人工智能领域，应用于医疗领域中，涉及一种自动问答匹配方法，包括获取图像数据、提问文本和参考文本，对图像数据、提问文本和参考文本分别进行预处理，得到分割图像、第一分词文本和第二分词文本；对分割图像、第一分词文本和第二分词文本进行位置编码、分割编码和嵌入编码，得到位置向量、分割向量和嵌入向量；对得到的向量进行向量拼接，得到融合表征向量，输入融合表征向量至多模态模型计算，得到目标答复文本。本申请还提供一种自动问答匹配装置、计算机设备及存储介质。此外，目标答复文本可存储于区块链中。本申请实现了基于图像和文本的自动问答，提高了问答的效率和准确率。效率和准确率。效率和准确率。

Automatic question and answer matching method, device, computer equipment and storage medium

【技术实现步骤摘要】
自动问答匹配方法、装置、计算机设备及存储介质


[0001]本申请涉及人工智能
，尤其涉及一种自动问答匹配方法、装置、计算机设备及存储介质。

技术介绍

[0002]近年来，随着计算力和数据量的大幅度提升，人工智能技术获得进一步的发展，应用人工智能解决医疗领域问题已成为了热点。然而，在医疗领域中，在医生对患者进行诊断时，往往需要人工地查看患者图片进行判断，其过程复杂，耗时长，最终导致医疗问诊准确率低下的问题。

技术实现思路

[0003]本申请实施例的目的在于提出一种自动问答匹配方法、装置、计算机设备及存储介质，以解决问诊准确率低下的技术问题。
[0004]为了解决上述技术问题，本申请实施例提供一种自动问答匹配方法，采用了如下所述的技术方案：
[0005]获取图像数据、提问文本和参考文本，对所述图像数据、所述提问文本和所述参考文本分别进行预处理，得到分割图像、第一分词文本和第二分词文本；
[0006]对所述分割图像、所述第一分词文本和所述第二分词文本进行位置编码，得到位置向量，对所述分割图像、所述第一分词文本和所述第二分词文本进行分割编码，得到分割向量，对所述分割图像、所述第一分词文本和所述第二分词文本进行嵌入编码，得到嵌入向量；
[0007]对所述嵌入向量、所述位置向量和所述分割向量进行向量拼接，得到融合表征向量，获取训练好的多模态模型，输入所述融合表征向量至所述多模态模型计算，得到所述提问文本对应的目标答复文本。
[0008]进一步的，所述对所述分割图像、所述第一分词文本和所述第二分词文本进行嵌入编码，得到嵌入向量的步骤包括：
[0009]分别计算所述第一分词文本和所述第二分词文本的编码信息，得到所述第一分词文本对应的第一文本嵌入编码，以及所述第二分词文本对应的第二文本嵌入编码；
[0010]获取所述第一文本嵌入编码或第二文本嵌入编码的向量维度，根据所述向量维度将所述分割图像映射至目标维度，得到图像嵌入编码；
[0011]对所述第一文本嵌入编码、所述第二文本嵌入编码和所述图像嵌入编码进行拼接，得到所述嵌入向量。
[0012]进一步的，所述对所述分割图像、所述第一分词文本和所述第二分词文本进行分割编码，得到分割向量的步骤包括：
[0013]获取所述分割图像、所述第一分词文本和所述第二分词文本的角色标记；
[0014]按照预设顺序对所述角色标记进行拼接及编码，得到所述分割向量。
[0015]进一步的，所述获取训练好的多模态模型的步骤包括：
[0016]采集多组医疗问诊数据，对所述医疗问诊数据进行拆分得到训练样本；
[0017]输入所述训练样本至基础预测模型中，计算得到目标损失函数，根据所述目标损失函数对所述基础预测模型训练，在所述目标损失函数为最小值时，确定所述基础预测模型训练完成，得到所述多模态模型。
[0018]进一步的，所述输入所述训练样本至基础预测模型中，计算得到目标损失函数的步骤包括：
[0019]计算所述训练样本的文本掩码损失、图片损失以及预测损失，根据所述文本掩码损失、所述图片损失以及所述预测损失，生成所述目标损失函数。
[0020]进一步的，所述采集多组医疗问诊数据，对所述医疗问诊数据进行拆分得到训练样本的步骤包括：
[0021]获取所述医疗问诊数据中的样本类别，所述样本类别包括图片类别、提问类别和回答类别，根据所述图片类别、所述提问类别和所述回答类别对所述医疗问诊数据进行标记及拆分，得到多个样本数据；
[0022]对所述样本数据进行掩码标记，得到掩码预测样本，分别对所述掩码预测样本进行位置编码、分割编码和嵌入编码，得到第一编码结果、第二编码结果和第三编码结果；
[0023]拼接所述第一编码结果、所述第二编码结果和所述第三编码结果，得到所述训练样本。
[0024]进一步的，所述对所述样本数据进行掩码标记，得到掩码预测样本的步骤包括：
[0025]获取目标掩码词，确定所述样本数据中图片类别对应的数据中是否存在所述目标掩码词对应的目标图片，以及所述样本数据中提问类别和回答类别对应的数据中是否存在所述目标掩码词对应的目标文本；
[0026]在确定同时存在所述目标图片和所述目标文本时，选取所述目标图片或所述目标文本进行掩码，得到所述掩码预测样本。
[0027]为了解决上述技术问题，本申请实施例还提供一种自动问答匹配装置，采用了如下所述的技术方案：
[0028]获取模块，用于获取图像数据、提问文本和参考文本，对所述图像数据、所述提问文本和所述参考文本分别进行预处理，得到分割图像、第一分词文本和第二分词文本；
[0029]编码模块，用于对所述分割图像、所述第一分词文本和所述第二分词文本进行位置编码，得到位置向量，对所述分割图像、所述第一分词文本和所述第二分词文本进行分割编码，得到分割向量，对所述分割图像、所述第一分词文本和所述第二分词文本进行嵌入编码，得到嵌入向量；
[0030]预测模块，用于对所述嵌入向量、所述位置向量和所述分割向量进行向量拼接，得到融合表征向量，获取训练好的多模态模型，输入所述融合表征向量至所述多模态模型计算，得到所述提问文本对应的目标答复文本。
[0031]为了解决上述技术问题，本申请实施例还提供一种计算机设备，采用了如下所述的技术方案：
[0032]获取图像数据、提问文本和参考文本，对所述图像数据、所述提问文本和所述参考文本分别进行预处理，得到分割图像、第一分词文本和第二分词文本；
[0033]对所述分割图像、所述第一分词文本和所述第二分词文本进行位置编码，得到位置向量，对所述分割图像、所述第一分词文本和所述第二分词文本进行分割编码，得到分割向量，对所述分割图像、所述第一分词文本和所述第二分词文本进行嵌入编码，得到嵌入向量；
[0034]对所述嵌入向量、所述位置向量和所述分割向量进行向量拼接，得到融合表征向量，获取训练好的多模态模型，输入所述融合表征向量至所述多模态模型计算，得到所述提问文本对应的目标答复文本。
[0035]为了解决上述技术问题，本申请实施例还提供一种计算机可读存储介质，采用了如下所述的技术方案：
[0036]获取图像数据、提问文本和参考文本，对所述图像数据、所述提问文本和所述参考文本分别进行预处理，得到分割图像、第一分词文本和第二分词文本；
[0037]对所述分割图像、所述第一分词文本和所述第二分词文本进行位置编码，得到位置向量，对所述分割图像、所述第一分词文本和所述第二分词文本进行分割编码，得到分割向量，对所述分割图像、所述第一分词文本和所述第二分词文本进行嵌入编码，得到嵌入向量；
[0038]对所述嵌入向量、所述位置向量和所述分割向量进行向量拼接，得到融合表征向量，获取训练好的多模态模型，输入所述融合表征向量至所述多模态模型计算，得到所述提问文本对应的目标答复文本。
[0039]本申请提出的自动问答匹本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种自动问答匹配方法，其特征在于，包括下述步骤：获取图像数据、提问文本和参考文本，对所述图像数据、所述提问文本和所述参考文本分别进行预处理，得到分割图像、第一分词文本和第二分词文本；对所述分割图像、所述第一分词文本和所述第二分词文本进行位置编码，得到位置向量，对所述分割图像、所述第一分词文本和所述第二分词文本进行分割编码，得到分割向量，对所述分割图像、所述第一分词文本和所述第二分词文本进行嵌入编码，得到嵌入向量；对所述嵌入向量、所述位置向量和所述分割向量进行向量拼接，得到融合表征向量，获取训练好的多模态模型，输入所述融合表征向量至所述多模态模型计算，得到所述提问文本对应的目标答复文本。2.根据权利要求1所述的自动问答匹配方法，其特征在于，所述对所述分割图像、所述第一分词文本和所述第二分词文本进行嵌入编码，得到嵌入向量的步骤包括：分别计算所述第一分词文本和所述第二分词文本的编码信息，得到所述第一分词文本对应的第一文本嵌入编码，以及所述第二分词文本对应的第二文本嵌入编码；获取所述第一文本嵌入编码或第二文本嵌入编码的向量维度，根据所述向量维度将所述分割图像映射至目标维度，得到图像嵌入编码；对所述第一文本嵌入编码、所述第二文本嵌入编码和所述图像嵌入编码进行拼接，得到所述嵌入向量。3.根据权利要求1所述的自动问答匹配方法，其特征在于，所述对所述分割图像、所述第一分词文本和所述第二分词文本进行分割编码，得到分割向量的步骤包括：获取所述分割图像、所述第一分词文本和所述第二分词文本的角色标记；按照预设顺序对所述角色标记进行拼接及编码，得到所述分割向量。4.根据权利要求1所述的自动问答匹配方法，其特征在于，所述获取训练好的多模态模型的步骤包括：采集多组医疗问诊数据，对所述医疗问诊数据进行拆分得到训练样本；输入所述训练样本至基础预测模型中，计算得到目标损失函数，根据所述目标损失函数对所述基础预测模型训练，在所述目标损失函数为最小值时，确定所述基础预测模型训练完成，得到所述多模态模型。5.根据权利要求4所述的自动问答匹配方法，其特征在于，所述输入所述训练样本至基础预测模型中，计算得到目标损失函数的步骤包括：计算所述训练样本的文本掩码损失、图片损失以及预测损失，根据所述文本掩码损失、所述图片损失以及所述预测损失，生成所述目标...

【专利技术属性】
技术研发人员：姚海申，孙行智，
申请(专利权)人：平安科技深圳有限公司，
类型：发明
国别省市：