【技术实现步骤摘要】
本专利技术涉及数据分类与预测，特别是涉及一种基于多模态融合的心血管疾病预测系统。
技术介绍
1、心血管疾病(cvds)是全球范围内主要的死亡原因之一。根据世界卫生组织(who)的统计，每年有数百万人因心血管疾病而亡。由于人口老龄化和生活方式的变化，心血管疾病的发病率逐年上升，给全球医疗系统带来了巨大压力。早期准确地诊断心血管疾病对于降低死亡率和改善患者预后至关重要。心电图(ecg)作为一种重要的诊断工具，通过记录心脏每次跳动时产生的电信号，能够提供关于心脏健康状态的关键信息。
2、传统的基于机器学习的ecg分类方法依赖于专家知识来提取有意义的特征，例如rr间期、p波、qrs波群和t波等。提取的这些特征随后被输入到决策树和支持向量机等分类器中。然而，这些方法高度依赖专家的经验和知识，且难以应对复杂且大规模的ecg数据。随着数据量的增加和疾病类型的复杂化，传统的基于机器学习的方法的局限性变得愈加明显。
3、近年来，深度学习技术在医学影像和信号处理领域取得了显著进展。利用神经网络对ecg信号进行自动化特征提取和分类，极大地提高了诊断效率和准确性。特别是卷积神经网络(cnn)和递归神经网络(rnn)在处理时序数据和提取复杂特征方面显示出强大的能力。吴恩达基于卷积神经网络构建了一个34层的深度神经网络模型，针对91232个单导联信心电图对12种心律进行分类，f1达到了0.837的优异水平。另外现有技术中还提出了一种12导联ecg分类模型，在卷积神经网络和递归神经网络的基础上，引入了时空注意力机制，用于识别9种类别。
4、尽管深度学习在单一ecg信号分类上表现优异，然而在实际应用过程中，单一模态信息往往不足以提供全面的病情分析，为了解决这一问题，研究者们开始探索多模态方法。一些现有技术中通过将原始的ecg信号分别转换成gramian角场(gaf)、递归图(rp)和马尔可夫转移场(mtf)，然后使用cnn提取特征后进行融合从而实现分类。一些现有技术中分别使用gadf、pr、gasf算法将一维的心电图信号转换成三种不同的二维灰度图像，然后使用cvt网络来提取特征并进行融合操作。然而这些方法大多都是将ecg转换成其他域的形式，本质上还是基于单一模态的ecg特征信息。而医院在诊断心血管疾病的过程中不仅仅会产生心电图数据，还会产生大量的医学文本报告，这些医学文本报告往往涉及心电图关键特征的描述，对于疾病的准确诊断具有重要参考价值。因此，将医学本文报告和ecg信号结合起来进行分析，有望显著提高诊断的准确性和全面性。
5、有鉴于此，本申请旨在提供一种基于多模态融合的心血管疾病预测系统，结合医学文本报告和ecg信号，从而提高心血管疾病的预测诊断准确性和全面性。
技术实现思路
1、为解决上述问题，本专利技术提供一种基于多模态融合的心血管疾病预测系统，其基于ecg特征提取模块、医学文本报告特征提取模块和多模态融合模块，充分发挥ecg信号和医学文本报告的互补优势，从而提高心血管疾病的预测诊断准确性和全面性。
2、本专利技术采用的技术方案是：
3、一种基于多模态融合的心血管疾病预测系统，包括：
4、ecg信号处理模块，用于从多导联ecg信号中提取电生理特征；
5、文本处理模块，基于大语言模型gpt-2进行医疗文本报告的特征提取，并通过prompt微调以增强模型对医疗语义的理解；
6、多模态融合模块，通过transformer编码器结构融合从ecg信号和文本报告中提取的特征，实现模态间特征的自适应加权融合；
7、分类模块，通过多标签分类模型输出多种心血管疾病的预测结果，并将lstm输出的信息送入到全连接进行分类。
8、进一步地，所述的ecg信号处理模块采用卷积神经网络(cnn)，用于从多导联心电图信号中自动提取时序特征，其卷积核为一维卷积核，以适用于处理ecg序列数据。
9、进一步地，所述的卷积神经网络为resnet18架构，经过采用一维卷积层，以适应ecg信号的时序性，提取出心电信号的局部与全局特征。
10、进一步地，所述的文本处理模块通过微调的gpt-2模型提取医疗文本中的特征，所述微调采用prompt设置，用于优化gpt-2模型对医疗场景下文本的语义理解与特征提取能力。
11、进一步地，所述的prompt微调包括以下步骤：
12、将可学习的prompt嵌入向量引入至gpt-2的输入层；
13、通过在医疗文本训练集上的特定任务进行微调，允许prompt和模型后续层的参数进行联合训练；
14、通过冻结gpt-2模型的其余部分参数，以保留模型在大规模预训练时学到的通用语言理解能力。
15、进一步地，所述的多模态融合模块通过transformer编码器实现特征融合，所述编码器包含多头自注意力机制和前馈神经网络，用于学习不同模态特征之间的交互关系，并动态调整来自ecg信号与医疗文本报告的特征权重，使得融合后的特征更加准确。
16、进一步地，所述的分类模块使用多标签分类模型，通过sigmoid激活函数计算每种心血管疾病的存在概率，并基于设定的阈值输出对应的诊断标签，以处理多种疾病并发的情况，适用于多种心血管病症的联合诊断。
17、进一步地，所述的多模态融合模块还包含全连接层，用于在transformer编码器之前对ecg特征与文本特征进行维度映射和对齐操作。
18、进一步地，所述的全连接层将ecg特征和文本特征映射至相同的隐藏维度，以确保两种模态的特征在输入transformer编码器时具备相同的表示空间，从而提高特征融合的效果。
19、进一步地，还包括损失函数优化模块，所述损失函数优化模块的损失函数为二元交叉熵损失，用于处理多标签分类，以优化每个疾病标签的预测精度。
20、本专利技术的有益效果如下：
21、本专利技术提供的基于多模态融合的心血管疾病预测系统，包括：ecg信号处理模块，用于从多导联ecg信号中提取电生理特征；文本处理模块，基于大语言模型gpt-2进行医疗文本报告的特征提取，并通过prompt微调以增强模型对医疗语义的理解；多模态融合模块，通过transformer编码器结构融合从ecg信号和文本报告中提取的特征，实现模态间特征的自适应加权融合；分类模块，通过多标签分类模型输出多种心血管疾病的预测结果，并将lstm输出的信息送入到全连接进行分类，该系统通过卷积神经网络提取ecg信号的时序特征，并采用大语言模型处理医疗文本报告中的语义信息，在文本报告处理中，经过prompt微调，使其能够更好地捕捉医疗文本中的关键特征，随后，系统通过transformer编码器实现ecg和文本特征的深度融合，充分发挥两种模态的互补性，提高预测的准确性；同时，该系统利用多标签分类模型预测多种心血管疾病，特别适用于并发症或多重病症的复杂预测场景，相比传统仅依赖单一ecg信号的预测方法，本专利技术通过引入本文档来自技高网...
【技术保护点】
1.一种基于多模态融合的心血管疾病预测系统，其特征在于，包括：
2.根据权利要求1所述的基于多模态融合的心血管疾病预测系统，其特征在于，所述的ECG信号处理模块采用卷积神经网络，用于从多导联心电图信号中自动提取时序特征，其卷积核为一维卷积核，以适用于处理ECG序列数据。
3.根据权利要求2所述的基于多模态融合的心血管疾病预测系统，其特征在于，所述的卷积神经网络为ResNet18架构，经过采用一维卷积层，以适应ECG信号的时序性，提取出心电信号的局部与全局特征。
4.根据权利要求3所述的基于多模态融合的心血管疾病预测系统，其特征在于，所述的文本处理模块通过微调的GPT-2模型提取医疗文本中的特征，所述微调采用prompt设置，用于优化GPT-2模型对医疗场景下文本的语义理解与特征提取能力。
5.根据权利要求4所述的基于多模态融合的心血管疾病预测系统，其特征在于，所述的prompt微调包括以下步骤：
6.根据权利要求1所述的基于多模态融合的心血管疾病预测系统，其特征在于，所述的多模态融合模块通过Transformer编码器实
7.根据权利要求1所述的基于多模态融合的心血管疾病预测系统，其特征在于，所述的分类模块使用多标签分类模型，通过sigmoid激活函数计算每种心血管疾病的存在概率，并基于设定的阈值输出对应的诊断标签，以处理多种疾病并发的情况，适用于多种心血管病症的联合诊断。
8.根据权利要求1所述的基于多模态融合的心血管疾病预测系统，其特征在于，所述的多模态融合模块还包含全连接层，用于在Transformer编码器之前对ECG特征与文本特征进行维度映射和对齐操作。
9.根据权利要求8所述的基于多模态融合的心血管疾病预测系统，其特征在于，所述的全连接层将ECG特征和文本特征映射至相同的隐藏维度，以确保两种模态的特征在输入Transformer编码器时具备相同的表示空间，从而提高特征融合的效果。
10.根据权利要求1所述的基于多模态融合的心血管疾病预测系统，其特征在于，还包括损失函数优化模块，所述损失函数优化模块的损失函数为二元交叉熵损失，用于处理多标签分类，以优化每个疾病标签的预测精度。
...【技术特征摘要】
1.一种基于多模态融合的心血管疾病预测系统，其特征在于，包括：
2.根据权利要求1所述的基于多模态融合的心血管疾病预测系统，其特征在于，所述的ecg信号处理模块采用卷积神经网络，用于从多导联心电图信号中自动提取时序特征，其卷积核为一维卷积核，以适用于处理ecg序列数据。
3.根据权利要求2所述的基于多模态融合的心血管疾病预测系统，其特征在于，所述的卷积神经网络为resnet18架构，经过采用一维卷积层，以适应ecg信号的时序性，提取出心电信号的局部与全局特征。
4.根据权利要求3所述的基于多模态融合的心血管疾病预测系统，其特征在于，所述的文本处理模块通过微调的gpt-2模型提取医疗文本中的特征，所述微调采用prompt设置，用于优化gpt-2模型对医疗场景下文本的语义理解与特征提取能力。
5.根据权利要求4所述的基于多模态融合的心血管疾病预测系统，其特征在于，所述的prompt微调包括以下步骤：
6.根据权利要求1所述的基于多模态融合的心血管疾病预测系统，其特征在于，所述的多模态融合模块通过transformer编码器实现特征融合，所述编码器包含多头自注意力机制和前馈神经网...
【专利技术属性】
技术研发人员：刘华珠，李乐，唐穗谷，林盛鑫，郭素峡，
申请(专利权)人：东莞理工学院，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。