基于多模态的糖尿病及其并发症智能辅助预测与诊断平台制造技术

基于多模态的糖尿病及其并发症智能辅助预测与诊断平台，本发明专利技术涉及人工智能，医疗诊断，深度学习，图像处理，辅助诊断系统。糖尿病的主要血管并发症如DR及CAD的诊断则需要多种医疗技术进行辅助诊断，DR的诊断主要通过眼底检查明确，CAD的诊断则需要依靠于患者的症状、体征、心电图、运动试验、冠脉CT或者冠脉造影等结果综合进行诊断。通过人工智能的方式，开发一款自动化的、实时的糖尿病及DR和CAD的预测评估模型，进而辅助医生诊断。本发明专利技术应用于在给出患者视网膜眼底图像以及相应临床指标的前提下，利用人工智能的算法实现糖尿病及DR和CAD的准确预测与评估。CAD的准确预测与评估。CAD的准确预测与评估。

【技术实现步骤摘要】
基于多模态的糖尿病及其并发症智能辅助预测与诊断平台


[0001]本专利技术涉及的领域：人工智能，医疗诊断，深度学习，图像处理，辅助诊断系统。

技术介绍

[0002]糖尿病致死致残率高的核心就是血管并发症，其中冠状动脉病变(coronary artery disease,CAD)是最主要的大血管并发症，糖尿病视网膜病变(diabetes retinopathy,DR)是最主要的微血管并发症之一。糖尿病患者CAD的发病率可高达55％,是糖尿病患者最常见的死亡原因,DR是主要的致盲疾病,均需要庞大的社会资源及医疗资源支出。因此，如何更准确地预测、预防、减少糖尿病及其血管并发症(CAD、DR)的发生是今后糖尿病及其并发症防控的关键。未病先防，可从源头上减少糖尿病的发生，是最基础、最经济有效的管理策略，但传统的糖尿病风险预测模型存在效能差、稳定性差、成本高、实施难度大等特点。因此，开发高效、稳定性高、无创、可及性高的糖尿病及DR和CAD的预测评估模型十分必要。
[0003]糖尿病的确诊至今仍依靠单一的血糖指标，即血清葡萄糖水平或糖化血红蛋白(HbA1C)水平。从诊断上看，糖尿病已经成为一种“数字病”。而糖尿病的主要血管并发症如DR及CAD的诊断则需要多种医疗技术进行辅助诊断，DR的诊断主要通过眼底检查明确，CAD的诊断则需要依靠于患者的症状、体征、心电图、运动试验、冠脉CT或者冠脉造影等结果综合进行诊断。这种方式不仅增加了诊断开销与临床医师的压力，同时难以满足糖尿病及DR和CAD早期预测的需求。
[0004]从以上痛点出发，本文提出通过人工智能的方式，开发一款自动化的、实时的糖尿病及DR和CAD的预测评估模型，进而辅助医生诊断。在给出患者视网膜眼底图像以及相应临床指标的前提下，利用人工智能的算法实现糖尿病及DR和CAD的准确预测与评估，有效预防疾病的发生，减轻家庭及社会的负担，为经济社会发展做出贡献。

技术实现思路

[0005]基于多模态的糖尿病及其并发症智能辅助预测与诊断平台包括：
[0006]信息采集存储处理模块，眼底视网膜图像预处理模块，糖尿病风险预测模块，DR评估与预测模块，CAD预测评估模块，初步诊断生成模块，预测评估模型更新优化模块；
[0007]所述的信息采集存储处理模块用于该平台的信息录入人员将社会面上的正常人群、糖尿病前期人群的病例数据信息录入平台；
[0008]所述的眼底视网膜图像预处理模块用于将采集的眼底视网膜图像进行预处理操作并将其与个人编码信息进行特征融合得到临床与生物指标特征；
[0009]所述的糖尿病风险预测模块用于将临床与生物指标特征输入风险预测模块进行风险等级预测；
[0010]所述的DR预测与评估模块用于对于糖尿病检测为阳性的患者，进行糖尿病并发症DR的评估与预测；
[0011]所述的CAD预测评估模块用于提取患者视网膜眼底图像的特征，随后利用注意力机制捕获患者个人信息与生物指标的编码结果以及图像特征上下文联系并构建并行分支，最后将并行分支进行决策融合得到CAD评估结果；
[0012]所述的初步诊断生成模块用于根据预测评估模块得到预测结果生成初步诊断意见和初步分析报告，医生查看初步诊断意见和初步分析报告，进行人工复核生成最终分析报告；
[0013]所述的预测诊断评估模型更新优化模块用于将糖尿病及DR和CAD评估与风险预测模型部署到不同的医疗机构，利用联邦学习策略实现模型的实时更新。
[0014]进一步地，所述的信息采集存储处理模块用于该平台的信息录入人员将社会面上的正常人群、糖尿病前期人群的病例数据信息录入平台；实现步骤如下；
[0015](1)预测糖尿病前瞻性纵向队列的构建
[0016]所述的信息采集人群包括健康受试者或糖尿病前期患者，年龄范围为18
‑
70周岁，具备视网膜照片，血糖代谢，肝肾功能；
[0017]所述的病例数据信息包括人口资料，糖代谢病史及家族史，视网膜照片，血糖代谢，肝肾功能；
[0018](2)预测DR纵向队列的构建
[0019]所述的信息采集人群包括既往诊断为2型糖尿病患者，年龄范围为18
‑
70周岁，具备不少于两次视网膜照片，其中第一次视网膜照片显示无DR，具备血糖代谢，肝肾功能相关数据；
[0020]所述的病例数据信息包括人口资料，糖代谢病史及家族史，眼底照片；
[0021](3)评估糖尿病CAD横断面数据构建
[0022]所述的信息采集人群包括既往诊断为2型糖尿病患者，年龄范围为18
‑
70周岁，完成冠状动脉造影，具备视网膜照片，血糖代谢，肝肾功能相关数据；
[0023]所述的病例数据信息包括人口资料，糖代谢病史及家族史，冠状动脉造影狭窄结果、眼底照片。
[0024]进一步地，所述的眼底视网膜图像预处理模块用于将采集的眼底视网膜图像进行预处理操作并将其与个人编码信息进行特征融合得到临床与生物指标特征；实现步骤如下：
[0025](1)生物指标计算模块
[0026]所述的生物指标包括：眼底图像血管分支角度、弯曲度、分形维数、CRAE、CRVE、AVR；
[0027](2)个人信息编码模块
[0028]所述的个人信息为年龄、性别、吸烟、喝酒、BMI、血压、血糖、血脂；
[0029]进一步地，所述的糖尿病风险预测模块用于将临床与生物指标特征输入风险预测模型进行风险等级预测；具体步骤为：
[0030](1)首先构建糖尿病风险预测网络，对输入的眼底视网膜图像进行模型训练
[0031](2)将用户的临床特征与相关生物标志物特征以及糖尿病预测模型特征融合，输入至多层感知机(MLP)进行预测用户两年后2型糖尿病患病风险分层。
[0032]进一步地，所述的DR评估与预测模块用于对于糖尿病检测为阳性的患者，进行糖
尿病并发症DR的评估与预测；具体步骤为：
[0033](1)DR评估模块
[0034]采用多尺度特征提取技术，输入不同尺寸的图像，提取低分辨率特征图的语义信息和高分辨率特征图的细节信息，并将其进行融合，提高网络的性能，之后将编码器的结果连接到一个全连接层，实现DR等级评估任务，最后，通过解码器实现分割任务，实现硬参数共享的分割、分类；
[0035](2)DR预测模块
[0036]采用2年后患DR状况作为标签，用基线视网膜眼底图像进行特征提取器的预训练并得到热图，随后利用2年后眼底图像的病变区域与热图突出显示区域对比，对网络的特征提取模块进行校正，以提升提取有效特征的能力，用训练好的特征提取模块提取眼底图像的特征，并将吸烟状况及高血脂等临床指标和CRVE及小动脉弯曲度等生物指标进行编码得到向量，最后采用特征拼接的方式将这些特征进行融合送到全连接层中进行分类得到DR的风险分层预测；
[0037]进一步地，所述的CAD预测评估模块用于提取患者视网膜眼底图像的特征，随后利本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.基于多模态的糖尿病及其并发症智能辅助预测与诊断平台，其特征在于：所述系统平台包括：信息采集存储处理模块，眼底视网膜图像预处理模块，糖尿病风险预测模块，DR评估与预测模块，CAD预测评估模块，初步诊断生成模块，预测评估模型更新优化模块；所述的信息采集存储处理模块用于该平台的信息录入人员将社会面上的正常人群、糖尿病前期人群的病例数据信息录入平台；所述的眼底视网膜图像预处理模块用于将采集的眼底视网膜图像进行预处理操作并将其与个人编码信息进行特征融合得到临床与生物指标特征；所述的糖尿病风险预测模块用于将临床与生物指标特征输入风险预测模块进行风险等级预测；所述的DR预测与评估模块用于对于糖尿病检测为阳性的患者，进行糖尿病并发症DR的评估与预测；所述的CAD预测评估模块用于提取患者视网膜眼底图像的特征，随后利用注意力机制捕获患者个人信息与生物指标的编码结果以及图像特征上下文联系并构建并行分支，最后将并行分支进行决策融合得到CAD评估结果；所述的初步诊断生成模块用于根据预测评估模块得到预测结果生成初步诊断意见和初步分析报告，医生查看初步诊断意见和初步分析报告，进行人工复核生成最终分析报告；所述的预测诊断评估模型更新优化模块用于将糖尿病及DR和CAD评估与风险预测模型部署到不同的医疗机构，利用联邦学习策略实现模型的实时更新。2.如权利要求1所述的基于多模态的糖尿病及其并发症智能辅助预测与诊断平台，其特征在于，所述的信息采集存储处理模块用于该平台的信息录入人员将社会面上的正常人群、糖尿病前期人群的病例数据信息录入平台；实现步骤如下；(1)预测糖尿病前瞻性纵向队列的构建所述的信息采集人群包括健康受试者或糖尿病前期患者，年龄范围为18
‑
70周岁，具备视网膜照片，血糖代谢，肝肾功能；所述的病例数据信息包括人口资料，糖代谢病史及家族史，视网膜照片，血糖代谢，肝肾功能；(2)预测DR纵向队列的构建所述的信息采集人群包括既往诊断为2型糖尿病患者，年龄范围为18
‑
70周岁，具备不少于两次视网膜照片，其中第一次视网膜照片显示无DR，具备血糖代谢，肝肾功能相关数据；所述的病例数据信息包括人口资料，糖代谢病史及家族史，眼底照片；(3)评估糖尿病CAD横断面数据构建所述的信息采集人群包括既往诊断为2型糖尿病患者，年龄范围为18
‑
70周岁，完成冠状动脉造影，具备视网膜照片，血糖代谢，肝肾功能相关数据；所述的病例数据信息包括人口资料，糖代谢病史及家族史，冠状动脉造影狭窄结果、眼底照片。3.如权利要求1所述的基于多模态的糖尿病及其并发症智能辅助预测与诊断平台，其特征在于，所述的眼底视网膜图像预处理模块用于将采集的眼底视网膜图像进行预处理操
作并将其与个人编码信息进行特征融合得到临床与生物指标特征；实现步骤如下：(1)生物指标计算模块所述的生物指标包括：眼底图像血管分支角度、弯曲度、分形维数、CRAE、CRVE、AVR；(2)个人信息编码模块所述的个人信息为年龄、性别、吸烟、喝酒、BMI、血压、血糖、血脂。4.如权利要求1所述的基于多模态的糖尿病及其并发症智能辅助预测与诊断平台，其特征在于，所述的糖尿病风险预测模块用于将临床与生物指标特征输入风险预测模型进行风险等级预测；具体步骤为：(1)首先构建糖尿病风险预测网络，对输入的眼底视网膜图像进行模型训练(2)将用户的临床特征与相关生物标志物特征以及...

【专利技术属性】
技术研发人员：谢怡宁，曹军，单丹丹，齐鹤，陈宇，
申请(专利权)人：东北林业大学，
类型：发明
国别省市：