【技术实现步骤摘要】
本专利技术涉及图像处理中多模态融合算法领域，具体是一种基于多模态特征融合的tips术后肝性脑病预测系统。
技术介绍
1、经颈静脉肝内门静脉系统分流术(tips)是一种通过肝内门体分流来缓解门脉高压的介入性手术，是治疗肝硬化等肝脏疾病的重要方法之一。然而，tips术后常常伴随着肝性脑病(he)的发生，这是一种由肝功能异常引起的神经系统并发症，会对患者的生活质量产生负面影响，增加患者的死亡率。因此，术前较为准确的预测he的风险，会对决定是否采取tips手段具有重要意义。
2、目前，tips术后he的预测主要依赖于临床医生的经验和基于临床指标的预测模型。然而，这种方法存在一些问题，包括：依赖专家的主观判断、预测准确性有限等。随着计算机视觉理论的不断深入研究和现代医疗技术的发展，基于计算机视觉的he预测技术正成为一种新兴的方法，具有广阔的发展前景。传统的基于计算机视觉的he预测算法主要依赖于影像学特征的分析，通过脑部mri等影像数据提取患者的脑部结构特征，并结合机器学习方法建立预测模型。然而，这种传统的算法只利用了影像学数据，而忽视了临床数据、生物标志物等多模态信息的重要性，从而导致信息的单一化和局限性，影响了预测模型的综合性和准确性。为了提高he预测的准确性和稳定性，需要引入多模态融合以及优化算法设计等方法进行改进。
3、引入临床数据和图像数据多模态融合对于tips术后he预测具有重要意义。临床数据可以提供患者的各项生理指标信息，而图像数据则反映了患者的组织结构、病变情况等形态特征。将上述两种数据特征进行融合，
技术实现思路
1、本专利技术所要解决的技术问题是针对现有技术的不足提供一种基于多模态特征融合的tips术后肝性脑病预测系统。
2、本专利技术的技术方案如下：
3、一种基于多模态特征融合的tips术后肝性脑病预测系统，包括数据预处理模块、基于预训练参数的特征提取模块、基于注意力机制的特征融合模块和分类器模块；
4、数据预处理模块：用于针对医院提供的肝硬化患者tips术前的腹部ct图像和临床数据，在医生的指导下整理出病患的ct图像数据、临床数据、不同的标签；不同的标签包括：有he，无he；将带标签的序列图像和对应的临床数据分别按层次处理成对应的one-hot编码以及划分训练集和验证集；
5、基于预训练参数的特征提取模块包括一个全连接操作单元：输入临床数据进入网络，提取临床数据特征；和一个卷积操作单元：输入ct图像进入卷积层，进行卷积操作提取图像特征；
6、所述的特征融合模块包括：
7、池化单元：用于将卷积层提取到的特征压缩；
8、交叉注意力单元：用于将临床数据、ct图像获取的有效特征使用交叉注意力机制进行特征融合，使模态之间能够关注彼此的相关性，增强原始特征表达；
9、连接单元：使用连接减轻了深度网络中信息难以传递的问题，有助于保持更加直接的信息流动；
10、连接后的特征经过分类器模块得到高精度的预测结果。
11、所述的一种基于多模态特征融合的tips术后肝性脑病预测系统，所述的全连接操作单元：临床数据输入全连接层，假设x＝[x1,x2,...,xi]为输入数据，w＝[w1,w2,...,wi]为全连接操作单元的权重，b表示偏置，y表示输出的结果，则全连接操作单元公式如下：
12、y＝xⅹwt+b
13、所述的一种基于多模态特征融合的tips术后肝性脑病预测系统，所述的卷积操作单元:假设v＝[v1,v2,…,vc]为ftr运算的卷积核，f表示为最后一个卷积层前的卷积运算和池化运算，ftr表示为最后一个卷积层的卷积运算；vc是第c个卷积核的参数，ftr运算输出的特征图表示为u＝[u1,u2,…,uc]，则第c个通道的特征图表示如公式：
14、
15、在上述公式中*表示卷积运算，是二维空间核，表示为vc的单个通道的卷积核，作用于x的对应通道，其中c表示该卷积层输入的通道特征图的数量；通过对特征图uc∈r h×w进行全局平均池化操作和全局最大池化操作，来有效地学习物体的位置信息和物体特征，其形式化描述如公式所示：
16、
17、zc2＝max(uc(i,j))(i∈[1,2,···,w])
18、所述的一种基于多模态特征融合的tips术后肝性脑病预测系统，所述的池化单元：将resnet网络各层提取的有效特征抽取出来，使用池化操作减少特征图的空间维度，帮助减少计算复杂度并增强模型的平移不变性，便于后续与mlp提取到的有效特征进行交叉注意力的计算。具体来讲就是输入特征图的大小为i h×i w×c in，其中i h表示输入的高度，iw表示输入的宽度，cin表示输入的通道数。池化后的输出大小计算如下：
19、
20、
21、这里，k h和k w表示池化核的高度和宽度，s表示池化核的步幅。o h和o w分别表示输出特征图的高度和宽度。
22、所述的一种基于多模态特征融合的tips术后肝性脑病预测系统，所述的交叉注意力单元：为了获取两种模态数据更深层次的关系，使用池化单元减少卷积层获取的特征的维度，用于和mlp层获取的相同维度的特征进行交叉注意力。具体来说首先，我们需要定义三个权重矩阵wq(查询矩阵，query matrix)，wk(键矩阵，key matrix)和wv(值矩阵，valuematrix)，它们用于计算查询、键和值。
23、对于每一个输入元素xi和yi，我们通过以下公式计算它的查询q，键k和值v：
24、
25、
26、接下来，我们计算每个元素x或y对于每个元素x或y的注意力得分，这通过查询q和键k的点积，然后通过softmax函数进行归一化得到：
27、score(x,x)＝softmax(q.k)或score(y,y)＝softmax(q.k)
28、然后，我们计算每个元素的输出，这通过将每个元素x或y的注意力得分与对应的值vi相乘，然后求和得到：
29、output(xi)＝∑j(score(xi,xj)*vj)或output(yi)＝∑j(score(yi,yj)*vj)
30、所述的一种基于多模态特征融合的tips术后肝性脑病预测系统，所述的融合模块中的连接单元为残差连接，其公式可表示为y＝f(x)+x，其中x表示该层的输入，f(x)表示该层的输出，y表示残差连接后的输出。在前向传播时，x和f(x)的和作为该层的输出，直接输入到下一层中进行处理；在反向传播时，残差连接使得梯度可以更容易地回传到前面的层，加速了模型的收敛。
31、所述的一种基于多模态特征融合的tips术后肝性脑病预测系统，所述的分类器模块：整个网络使用的损失函数为交叉熵损失：
32、m为图片数量，y为已知的分期标本文档来自技高网...
【技术保护点】
1.一种基于多模态特征融合的TIPS术后肝性脑病预测系统，其特征在于，包括数据预处理模块、基于预训练参数的特征提取模块、基于注意力机制的特征融合模块和分类器模块；
2.根据权利要求1所述的一种基于多模态特征融合的TIPS术后肝性脑病预测系统，其特征在于，所述的全连接操作单元：临床数据输入全连接层，假设X＝[x1,x2,...,xi]为输入数据，W＝[w1,w2,...,wi]为全连接操作单元的权重，b表示偏置，Y表示输出的结果，则全连接操作单元公式如下：
3.根据权利要求1所述的一种基于多模态特征融合的TIPS术后肝性脑病预测系统，其特征在于，所述的卷积操作单元:假设v＝[v1,v2,…,vc]为Ftr运算的卷积核，F表示为最后一个卷积层前的卷积运算和池化运算，Ftr表示为最后一个卷积层的卷积运算；vc是第c个卷积核的参数，Ftr运算输出的特征图表示为u＝[u1,u2,…,uc]，则第c个通道的特征图表示如公式：
4.根据权利要求1所述的一种基于多模态特征融合的TIPS术后肝性脑病预测系统，其特征在于，所述的池化单元：将ResNet网络各层提取
5.根据权利要求1所述的一种基于多模态特征融合的TIPS术后肝性脑病预测系统，其特征在于，所述的交叉注意力单元：为了获取两种模态数据更深层次的关系，使用池化单元减少卷积层获取的特征的维度，用于和MLP层获取的相同维度的特征进行交叉注意力；具体来说首先，我们需要定义三个权重矩阵Wq(查询矩阵，Query Matrix)，Wk(键矩阵，KeyMatrix)和Wv(值矩阵，Value Matrix)，它们用于计算查询、键和值；
6.根据权利要求1所述的一种基于多模态特征融合的TIPS术后肝性脑病预测系统，其特征在于，所述的融合模块中的连接单元为残差连接，其公式可表示为y＝f(x)+x，其中x表示该层的输入，f(x)表示该层的输出，y表示残差连接后的输出；在前向传播时，x和f(x)的和作为该层的输出，直接输入到下一层中进行处理；在反向传播时，残差连接使得梯度可以更容易地回传到前面的层，加速了模型的收敛。
7.根据权利要求1所述的一种基于多模态特征融合的TIPS术后肝性脑病预测系统，其特征在于，所述的分类器模块：整个网络使用的损失函数为交叉熵损失：
...【技术特征摘要】
1.一种基于多模态特征融合的tips术后肝性脑病预测系统，其特征在于，包括数据预处理模块、基于预训练参数的特征提取模块、基于注意力机制的特征融合模块和分类器模块；
2.根据权利要求1所述的一种基于多模态特征融合的tips术后肝性脑病预测系统，其特征在于，所述的全连接操作单元：临床数据输入全连接层，假设x＝[x1,x2,...,xi]为输入数据，w＝[w1,w2,...,wi]为全连接操作单元的权重，b表示偏置，y表示输出的结果，则全连接操作单元公式如下：
3.根据权利要求1所述的一种基于多模态特征融合的tips术后肝性脑病预测系统，其特征在于，所述的卷积操作单元:假设v＝[v1,v2,…,vc]为ftr运算的卷积核，f表示为最后一个卷积层前的卷积运算和池化运算，ftr表示为最后一个卷积层的卷积运算；vc是第c个卷积核的参数，ftr运算输出的特征图表示为u＝[u1,u2,…,uc]，则第c个通道的特征图表示如公式：
4.根据权利要求1所述的一种基于多模态特征融合的tips术后肝性脑病预测系统，其特征在于，所述的池化单元：将resnet网络各层提取的有效特征抽取出来，使用池化操作减少特征图的空间维度，帮助减少计算复杂度并增强模型的平移不变性，便于后续与mlp提取到的有效特征进行交叉注意力的计算...
【专利技术属性】
技术研发人员：冯对平，贺磊，张雪松，高龙，强彦，
申请(专利权)人：山西医科大学第一医院，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。