【技术实现步骤摘要】
本专利技术涉及疾病预测，具体涉及一种基于双向多模态注意力网络的肝性脑病预测模型及方法。
技术介绍
1、基于双向多模态注意力网络的肝性脑病预测方法使用的主要技术是多模态学习技术(multimodal learning)以及深度学习技术(deep learning)，其主要目的是借助病人的临床信息特征(这里指病人的基本信息、临床检验指标)以及脑部组织的成像图，脑组织成像图主要脑部ct和磁共振波谱成像图构成。
2、为了有效利用不同类型的数据信息，多模态模型被设计了出来，它使得模型能够学到不同类型数据的信息，提高模型对数据的理解和表征能力。因为通过应用多模态模型的方法，可以融合不同类型之间的数据信息，使不同类型之间的数据相互补充，进行跨模态的推理，提高模型对复杂数据的理解能力，有效提高模型的性能表现以及降低过拟合风险。所以多模态模型的表现往往优于单一数据类型的数据。多模态方式能够提高信息的丰富性、数据的互补性、跨模态推理能力，同时更好地适应真实场景并应对复杂任务，这些特点使得多模态深度学习模型在各种人工智能应用中具有重要意义。
3、中国专利“基于多模态数据的疾病诊断方法、装置、设备及介质”(申请号：cn202310550630.5)公开的检测方法，用于多模态的疾病诊断。该专利分别提取问题文本特征、病症文本特征、音频特征和图像特征；将病症文本特征、音频特征和图像特征映射至同一维度下，并进行特征对齐处理；融合特征对齐后的病症文本特征、音频特征和图像特征获取融合特征向量；拼接问题文本特征和融合特征向量获取拼接向量；将拼
4、中国专利“评估和治疗肝性脑病的方法”(申请号：cn202080034331.0)使用一种新的肝性脑病分期工具(hest)，其包括一组标准以将he分为不同的分期，并根据he严重程度提供有效治疗的指导。所述方法的其他方面使用显性肝性脑病筛查工具(o-hest)来确定ohe事件是否正在发生或已经发生，并为适当的医疗护理和治疗变化提供指导。
5、现有的肝性脑病预测方法主要包含以下缺陷：
6、1)现有的肝性脑病预测模型大部分是基于传统的疾病预测方法和基于机器学习的疾病预测方法，模型的效果不太理想，并且大部分仅仅利用了病人的临床数据信息，对脑部组织的图像信息没有有效利用，因此模型的效果不好；
7、2)现有肝性脑病预测模型都是未能够充分挖掘数据集本身的信息，而且没有利用多模态模型对不同类型的数据进行综合利用；
8、3)现有的肝性脑病预测方法需要花费时间在特征工程上，并且准确率还有待提高。
技术实现思路
1、本专利技术的主要目的在于提供一种基于双向多模态注意力网络的肝性脑病预测模型及方法，解决现有肝性脑病预测方法预测准确率不高、以及未能综合利用脑部图像和临床数据信息的问题。
2、为解决上述技术问题，本专利技术所采用的技术方案是：一种基于双向多模态注意力网络的肝性脑病预测模型，包括数据特征提取模块、图像特征提取模块、双向多模态注意力模块、自注意力模块和预测模块，具体包括：
3、数据特征提取模块：将样本的特征数据处理后得到的特征向量和根据样本的特征数据计算后的特征向量进行拼接，并将拼接后的向量进行编码，得到的样本的数据特征向量；
4、图像特征提取模块：将图像t进行编码后，提取图像信息的特征向量；
5、双向多模态注意力模块：分别获取样本数据和样本图像经过特征提取模块后的高维特征向量；
6、自注意力模块：将双向多模态注意力模块中获得的高维特征向量进行拼接，并输入到自注意机制中；
7、预测模块：将自注意力模块中输出的数据依次经过全局平均池化层、全连接层和softmax分类后，获得预测结果。
8、本专利技术还提供一种基于双向多模态注意力网络的肝性脑病预测方法，包括权利要求1所述的一种基于双向多模态注意力网络的肝性脑病预测模型，包括以下步骤：
9、s1、将样本的特征向量f1-fn和计算后得到的特征向量d1-d4输入到数据特征提取模块，获得编码后的数据特征向量xi；图像t输入到图像特征提取模块，获得编码后的图像特征向量xt；
10、s2、构建一个双向多模态注意力模型，然后，将样本的数据特征向量xi和图像特征向量xt输入模型中进行数据和图像之间的信息互补和交叉理解，得到模型的输出结果向量xi′和向量xt′。
11、s3、使将双向多模态注意力模型的输出结果输入到自注意力模型中，先将两种特征表示进行拼接，然后采用自注意力机制；
12、s4、建立基于多尺度的神经网络的肝性脑病预测模型，并对该模型进行训练。
13、优选方案中，所述步骤s1中，具体包括以下步骤：
14、s11、先将样本的特征向量f1-fn和计算后得到的特征向量d1-d4拼接到一起，作为数据信息的共同表示，拼接计算公式如下：
15、
16、其中，f表示数据特征f1-fn和d1-d4拼接后的特征向量，f1-fn是样本的特征数据处理后得到的特征向量，表示有n个维度的特征，d1-d4是样本特征数据计算后的特征向量，表示有4个维度的特征；
17、s12、将拼接后的特征向量输入到数据特征提取模块，得到数据信息提取后的特征向量xi(1)，具体公式如下：
18、xi(1)＝indicatorsencoder(f) (2)
19、其中，xz表示数据特征经过indicatorsencoder编码后得到的特征向量；
20、s13、将提取后的特征向量xi(1)经过线性层得到向量xi，具体公式如下：
21、xi＝linear(xi(1)) (3)
22、其中，xi是xi(1)经过线性层得到结果；
23、s14、将图像t输入到图像特征提取模块，得到图像信息提取后的特征向量xt(1)，具体编码公式如下：
24、xt(1)＝imageencoder(t) (4)其中，xt(1)表示图像特征经过imageencoder编码后得到的特征向量，t是样本的图像信息；
25、s15、将提取后的特征向量xt(1)经过卷积层得到向量xt，具体计算公式如下：
26、xt＝conv(xt(1)) (5)
27、其中，这里xt表示将编码后的向量xt(1)经过卷积层后的结果。
28、优选方案中，所述步骤s2，具体包括以下步骤：
29、s21、将xi和xt分别输入到双向多模态注意力模块；
30、s22、将输入的数据通过线性投影和归一化得到数据xi的qi,ki,vi和xt的qt,kt,vt，具体计算公式如下：
31、qi,ki,vi＝lp(norm(xi)) (6)
32、qt,kt,vt＝lp(norm(xt))本文档来自技高网...
【技术保护点】
1.一种基于双向多模态注意力网络的肝性脑病预测模型，其特征是：包括数据特征提取模块、图像特征提取模块、双向多模态注意力模块、自注意力模块和预测模块，具体包括：
2.一种基于双向多模态注意力网络的肝性脑病预测方法，包括权利要求1所述的一种基于双向多模态注意力网络的肝性脑病预测模型，其特征是：包括以下步骤：
3.根据权利要求2所述一种基于双向多模态注意力网络的肝性脑病预测方法，其特征是：所述步骤S1中，具体包括以下步骤：
4.根据权利要求2所述一种基于双向多模态注意力网络的肝性脑病预测方法，其特征是：所述步骤S2，具体包括以下步骤：
5.根据权利要求2所述一种基于双向多模态注意力网络的肝性脑病预测方法，其特征是：所述步骤S3，具体包括以下步骤：
6.根据权利要求2所述一种基于双向多模态注意力网络的肝性脑病预测方法，其特征是：所述步骤S4，具体包括以下步骤：
7.根据权利要求6所述一种基于双向多模态注意力网络的肝性脑病预测方法，其特征是：所述步骤S43，具体包括以下步骤：
【技术特征摘要】
1.一种基于双向多模态注意力网络的肝性脑病预测模型，其特征是：包括数据特征提取模块、图像特征提取模块、双向多模态注意力模块、自注意力模块和预测模块，具体包括：
2.一种基于双向多模态注意力网络的肝性脑病预测方法，包括权利要求1所述的一种基于双向多模态注意力网络的肝性脑病预测模型，其特征是：包括以下步骤：
3.根据权利要求2所述一种基于双向多模态注意力网络的肝性脑病预测方法，其特征是：所述步骤s1中，具体包括以下步骤：
4.根据权利要求2...
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。