【技术实现步骤摘要】
本专利技术涉及计算医学中的多模态领域，尤指一种慢性肾脏疾病进展预测方法、装置、存储介质、计算机程序产品。
技术介绍
1、现有的慢性肾脏病进展预测技术主要包括于电子病历数据的临床模型、应用机器学习算法的简单模型、利用多模态数据的扩展模型等几类方法。
2、其中：在基于电子病历数据的临床模型的预测方法中，许多模型利用电子病历中记录的临床指标来预测慢性肾脏疾病的进展。预测模型中最常见的预测因子是年龄、性别、体重指数、糖尿病状态、收缩压、血清肌酐、蛋白尿的测量以及血清白蛋白或总蛋白。该类技术多由临床应用转化而来，为便于现实场景使用，通常遵从数据易获得与适用范围广两大原则。但由于这类方法是临床经验的总结，这也导致方法选用的指标少，难以发现新的知识，导致对新的症状预测精度差。
3、在应用机器学习算法的简单模型的预测方法中，其运用机器学习算法来处理范围更广、数量更多的变量，增强了对结构化数据和分类问题的分析能力，一定程度提高了疾病预测准确率。但该类技术的限制主要来源于模型自身，包括：难以利用大规模数据、简单结构难以捕捉数据中复杂的非线性关系、手动特征工程复杂且容易忽略未知的重要特征，同样存在对新的症状预测精度差的缺陷。
4、在利用多模态数据的扩展模型的预测方法中，通过挖掘其他模态数据(例如诊疗过程中重要的组学数据、图像数据)对预测准确性的影响，以提高疾病预测准确性。但现有利用多模态数据的扩展模型的预测方法的缺点在于扩充新的临床标志物需要大量湿实验，每种模式的数据分析和利用都是独立的，没有注意到模式之间的互补信
5、因此，有必要在上述预测方法的基础上加以改进。
技术实现思路
1、针对现有技术的不足，本专利技术提出一种慢性肾脏疾病进展预测方法、装置、存储介质、计算机程序产品。
2、其中：本专利技术一方面提供一种慢性肾脏疾病进展预测方法，包含：
3、收集关于慢性肾脏疾病的多模态数据，包括个体尺度的临床数据、分子尺度的蛋白质组学数据与代谢组学数据、细胞组织尺度的数字病理图像；其中所述临床数据、蛋白质组数据、代谢组数据属于表格数据，所述细胞组织尺度的数字病理图像属于图像数据；将所述多模态数据输入至构建的预测模型中进行训练，该预测模型包含表格特征提取器、图像特征提取器、多模态融合分类器；其中：识别每一模态数据的类别，若识别属于表格数据，通过所述表格特征提取器对该模态数据进行特征聚合并编码为多个一维特征向量，且将该多个一维特征向量整合为表格数据代表向量；若识别属于图像数据，通过所述图像特征提取器对该模态数据整图进行训练，整合得到图像代表向量；通过所述多模态融合分类器对所有所述表格数据代表向量与所有所述图像代表向量进行拼接融合后进行分类预测。
4、在本专利技术一些实施例中，每一所述表格特征提取器包含映射编码层、辅助训练层、全连接特征提取层；通过所述映射编码层将对应的该模态数据包含的特征依次进行分桶处理，统一数据的取值范围，再将每个特征都编码为一个一维特征向量；通过所述辅助训练层更新优化每一一维特征向量；通过所述全连接特征提取层的多个隐藏层将该多个一维特征向量整合为该表格数据代表向量。
5、在本专利技术一些实施例中，所述映射编码层采用哈希方程将对应的该模态数据的原始数据类型映射到多个类别，以统一数据的取值范围。
6、在本专利技术一些实施例中，于通过所述辅助训练层更新每一一维特征向量过程中，其中：对每一一维特征向量延长每一一维特征向量代表向量使其包含更多信息，并进行梯度回传，训练每一一维特征向量使其包含的信息与预测任务相符。
7、在本专利技术一些实施例中，所述图像特征提取器采用resnet50模型为基础架构，将resnet50模型最后两层的聚合层与分类层替换为新的隐藏层，其他层保持不变。
8、在本专利技术一些实施例中，配置每一所述表格数据代表向量、每一所述图像代表向量分别应用于预测的分类目标；所述多模态融合分类器由n层全连接神经网络配合一门控网络组成，其中所述门控网络由m个全连接层组成，生成每一所述表格数据代表向量对应的第一权重、每一所述图像代表向量对应的第二权重，且每一所述表格代表向量与自身对应的第一权重相乘，每一所述图像代表向量与自身对应的第二权重相乘，再进行拼接；拼接后的特征进入所述n层全连接神经网络进行分类预测；其中n和m均至少为2。
9、在本专利技术一些实施例中，使用五倍交叉验证数据集训练该预测模型。
10、在本专利技术一些实施例中，分析所述多模态数据中各模态数据的重要性，以及，分析在将所述多模态数据输入至构建的预测模型中进行训练过程中，每一阶段取得的各个特征的重要性，筛选出关键特征，将该关键特征初步识别为预测标志物。在本专利技术一些实施例中，所述表格特征提取器包含映射编码层、辅助训练层、全连接特征提取层；其中：通过所述映射编码层对各个表格数据包含的特征依次进行分桶处理，统一数据的取值范围，再将每个特征都编码为一个一维特征向量；通过所述辅助训练层更新优化每一一维特征向量；通过所述全连接特征提取层的多个隐藏层将该多个一维特征向量整合为该表格数据代表向量。
11、以及，本专利技术再一方面提供一种慢性肾脏疾病进展预测装置，该装置包含：
12、数据集获取单元，用以收集关于慢性肾脏疾病的多模态数据，包括个体尺度的临床数据、分子尺度的蛋白质组学数据与代谢组学数据、细胞组织尺度的数字病理图像；其中所述临床数据、蛋白质组数据、代谢组数据属于表格数据，所述细胞组织尺度的数字病理图像属于图像数据；
13、模型训练与预测单元，用以将所述多模态数据输入至构建的预测模型中进行训练，该预测模型包含表格特征提取器、图像特征提取器、多模态融合分类器；其中：所述模型训练与预测单元进一步包含：
14、编码模块，用以对识别为表格数据的模态数据通过所述表格特征提取器进行特征聚合并编码为多个一维特征向量，且将该多个一维特征向量整合为该表格数据代表向量；以及，对识别为图像数据的模态数据通过所述图像特征提取器对整图进行训练，整合得到图像代表向量；
15、分类模块，用以通过所述多模态融合分类器对所有所述表格数据代表向量与所有所述图像代表向量进行拼接融合后进行分类预测。
16、在本专利技术一些实施例中，每一所述表格特征提取器包含映射编码层、辅助训练层、全连接特征提取层；其中，所述映射编码层用以将对应的该模态数据包含的特征依次进行分桶处理，统一数据的取值范围，再将每个特征都编码为一个一维特征向量；所述辅助训练层与所述映射编码层输出端连接，用以更新优化每一一维特征向量；全连接特征提取层，与所述辅助训练层输出端连接，用以通过所述全连接特征提取层的多个隐藏层将该多个一维特征向量整合为该表格数据代表向量。
17、本专利技术又一方面还提供一种计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现上述的慢性肾脏疾病进展预测方法的步骤。
18、本专利技术又一方面还提供一种计算机程序产品，所本文档来自技高网...
【技术保护点】
1.一种慢性肾脏疾病进展预测方法，其特征在于，包含：
2.根据权利要求1所述的方法，其特征在于，
3.根据权利要求2所述的方法，其特征在于，
4.根据权利要求2所述的方法，其特征在于，
5.根据权利要求1所述的方法，其特征在于，
6.根据权利要求1所述的方法，其特征在于，
7.根据权利要求1所述的方法，其特征在于，还包含：
8.根据权利要求1所述的方法，其特征在于，还包含：
9.一种慢性肾脏疾病进展预测装置，其特征在于，包含：
10.根据权利要求9所述的装置，其特征在于，包含：
11.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，该计算机程序被处理器执行时实现权利要求1-8中任一所述方法的步骤。
12.一种计算机程序产品，所述计算机程序产品包括计算机程序，其特征在于，该计算机程序被处理器执行时实现权利要求1-8中任一所述方法的步骤。
【技术特征摘要】
1.一种慢性肾脏疾病进展预测方法，其特征在于，包含：
2.根据权利要求1所述的方法，其特征在于，
3.根据权利要求2所述的方法，其特征在于，
4.根据权利要求2所述的方法，其特征在于，
5.根据权利要求1所述的方法，其特征在于，
6.根据权利要求1所述的方法，其特征在于，
7.根据权利要求1所述的方法，其特征在于，还包含：
8.根据权利要求1所述的方法，其特...
【专利技术属性】
技术研发人员：乔艺璇，赵屹，赵连鹤，吴杨，
申请(专利权)人：中国科学院计算技术研究所，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。