一种脓毒症治疗策略的学习方法及装置制造方法及图纸

本发明专利技术公开了一种脓毒症治疗策略的学习方法及装置，该方法包括：基于样本数据建立关于脓毒症治疗策略的马尔科夫决策模型；样本数据为脓毒症患者在预设时间内的病理数据；根据马尔科夫决策模型，建立脓毒症的死亡率预测模型，并获取脓毒症患者各个特征的死亡率权重；利用死亡率权重对样本数据进行标记，生成目标样本；预测脓毒症治疗策略，利用深度强化学习方法来学习治疗策略。本发明专利技术通过患者样本优先级权重进行标记，使得深度强度学习的样本质量更高，提高了模型的训练效果，避免在大量次优样本中快速陷入局部最优的问题；通过采用改进的深度强度学习算法学习治疗策略，并为AI治疗策略的动作选择增加现实限制，使得推荐的治疗策略更优。策略更优。策略更优。

【技术实现步骤摘要】
一种脓毒症治疗策略的学习方法及装置


[0001]本专利技术涉及人工智能与医疗
，尤其涉及一种脓毒症治疗策略的学习方法及装置。

技术介绍

[0002]近年来，将人工智能算法用于探索对脓毒症患者使用静脉输液(IV)和血管升压药(VP)的最佳治疗策略已愈发广泛。在利用人工智能算法对脓毒症治疗策略进行评估时，主要是利用离线评估器，例如采用重要性采样估计器(IS)和双鲁棒估计器(DR)并结合SARSA算法来评估医生治疗策略的预期回报。而对AI治疗策略进行探索时，往往包含几种方法，包括离散状态空间模型与策略迭代的方法、使用深度神经网络与值迭代的方法、混合模型方法以及建立连续状态空间模型等。
[0003]然而，上述方法利用深度强化学习模型，在离散数据的基础上学习治疗策略时，并没有考虑患者样本质量实际存在的分布不均的情况。由于样本质量与分布不均衡，模型可能通过学习大量次优的样本而快速陷入局部最优，而没有对占比较少的高质量样本进行充分的学习。因此，模型通过学习后提供治疗建议与现实往往存在较大的偏差。

技术实现思路

[0004]本专利技术的目的在于提供一种脓毒症治疗策略的学习方法及装置，以解决现有的深度强化学习模型在对脓毒症数据学习时，由于样本质量与分布不均衡进而影响学习效果，导致学习结果与实际偏差较大的问题。
[0005]为实现上述目的，本专利技术提供一种脓毒症治疗策略的学习方法，包括：
[0006]基于样本数据建立关于脓毒症治疗策略的马尔科夫决策模型；所述样本数据为脓毒症患者在预设时间内的病理数据；
[0007]根据所述马尔科夫决策模型，建立脓毒症的死亡率预测模型，并获取脓毒症患者各个特征的死亡率权重；
[0008]利用所述死亡率权重对样本数据进行标记，生成目标样本；
[0009]预测脓毒症治疗策略，利用深度强化学习方法来学习治疗策略。
[0010]进一步地，在所述基于样本数据建立关于脓毒症治疗策略的马尔科夫决策模型之后，还包括：
[0011]对马尔科夫决策模型中的数据进行数据清洗，包括将数据损失超过预设值的治疗轨迹进行剔除，利用KNN算法进行数据填充。
[0012]进一步地，所述根据所述马尔科夫决策模型，建立脓毒症的死亡率预测模型，并获取脓毒症患者各个特征的死亡率权重，包括：
[0013]基于所述马尔科夫决策模型，利用极限梯度提升算法进行二分类训练，将患者在每个时间序列的状态作为特征值，以最终存活情况作为标签，训练生成死亡率预测模型；
[0014]基于死亡率预测模型，将患者按最终存活或死亡的情况划分，利用KNN算法，基于
闵可夫斯基距离公式计算患者各个特征的死亡率权重。
[0015]进一步地，所述深度强化学习方法为Double Dueling DQN深度强化学习方法。
[0016]进一步地，所述利用深度强化学习方法来学习治疗策略，包括修改损失函数以及对AI治疗策略的动作选择增加现实限制。
[0017]本专利技术还提供一种脓毒症治疗策略的学习方法，包括：
[0018]基于样本数据建立关于脓毒症治疗策略的马尔科夫决策模型；所述样本数据为脓毒症患者在预设时间内的病理数据；
[0019]根据所述马尔科夫决策模型，建立脓毒症的死亡率预测模型，并获取脓毒症患者各个特征的死亡率权重；
[0020]利用所述死亡率权重对样本数据进行标记，生成目标样本，将所述目标样本作为脓毒症治疗策略的学习样本。
[0021]进一步地，在所述基于样本数据建立关于脓毒症治疗策略的马尔科夫决策模型之后，还包括：
[0022]对马尔科夫决策模型中的数据进行数据清洗，包括将数据损失超过预设值的治疗轨迹进行剔除，利用KNN算法进行数据填充。
[0023]进一步地，所述根据所述马尔科夫决策模型，建立脓毒症的死亡率预测模型，并获取脓毒症患者各个特征的死亡率权重，包括：
[0024]基于所述马尔科夫决策模型，利用极限梯度提升算法进行二分类训练，将患者在每个时间序列的状态作为特征值，以最终存活情况作为标签，训练生成死亡率预测模型；
[0025]基于死亡率预测模型，将患者按最终存活或死亡的情况划分，利用KNN算法，基于闵可夫斯基距离公式计算患者各个特征的死亡率权重。
[0026]本专利技术还提供一种脓毒症治疗策略的学习装置，包括：
[0027]数据处理单元，用于基于样本数据建立关于脓毒症治疗策略的马尔科夫决策模型；所述样本数据为脓毒症患者在预设时间内的病理数据；
[0028]权重计算单元，用于根据所述马尔科夫决策模型，建立脓毒症的死亡率预测模型，并获取脓毒症患者各个特征的死亡率权重；
[0029]标记单元，用于利用所述死亡率权重对样本数据进行标记，生成目标样本；
[0030]学习单元，用于预测脓毒症治疗策略，利用深度强化学习方法来学习治疗策略。
[0031]本专利技术还提供一种脓毒症治疗策略的学习装置，包括：
[0032]数据处理模块，用于基于样本数据建立关于脓毒症治疗策略的马尔科夫决策模型；所述样本数据为脓毒症患者在预设时间内的病理数据；
[0033]权重计算模块，用于根据所述马尔科夫决策模型，建立脓毒症的死亡率预测模型，并获取脓毒症患者各个特征的死亡率权重；
[0034]样本生成模块，用于利用所述死亡率权重对样本数据进行标记，生成目标样本，将所述目标样本作为脓毒症治疗策略的学习样本。
[0035]相对于现有技术，本专利技术的有益效果在于：
[0036]1)根据样本权重，调整模型学习中对样本采样率，优先学习高质量样本，从而提高模型的训练效果，避免在大量次优样本中快速陷入局部最优，特别是对病情较重但存在有效治疗方案的患者提出更准确的治疗建议；
[0037]2)根据现实的离线数据情况，提出医疗动作的分布限制框架，让AI模型可以在更现实的情况下学习更有效的治疗策略。
附图说明
[0038]为了更清楚地说明本专利技术的技术方案，下面将对实施方式中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本专利技术的一些实施方式，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
[0039]图1是本专利技术某一实施例提供的脓毒症治疗策略的学习方法的流程示意图；
[0040]图2是本专利技术某一实施例提供的死亡率预测模型预测结果示意图；
[0041]图3是本专利技术某一实施例提供的对比不同模型学习效果评估结果的示意图；
[0042]图4是本专利技术又一实施例提供的脓毒症治疗策略的学习方法的流程示意图；
[0043]图5是本专利技术某一实施例提供的脓毒症治疗策略的学习装置的结构示意图；
[0044]图6是本专利技术又一实施例提供的脓毒症治疗策略的学习装置的结构示意图。
具体实施方式
[0045]下面将结合本专利技术实施例中的附图，对本专利技术实施例中的技术方案进行清楚、完整本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种脓毒症治疗策略的学习方法，其特征在于，包括：基于样本数据建立关于脓毒症治疗策略的马尔科夫决策模型；所述样本数据为脓毒症患者在预设时间内的病理数据；根据所述马尔科夫决策模型，建立脓毒症的死亡率预测模型，并获取脓毒症患者各个特征的死亡率权重；利用所述死亡率权重对样本数据进行标记，生成目标样本；预测脓毒症治疗策略，利用深度强化学习方法来学习治疗策略。2.根据权利要求1所述的脓毒症治疗策略的学习方法，其特征在于，在所述基于样本数据建立关于脓毒症治疗策略的马尔科夫决策模型之后，还包括：对马尔科夫决策模型中的数据进行数据清洗，包括将数据损失超过预设值的治疗轨迹进行剔除，利用KNN算法进行数据填充。3.根据权利要求2所述的脓毒症治疗策略的学习方法，其特征在于，所述根据所述马尔科夫决策模型，建立脓毒症的死亡率预测模型，并获取脓毒症患者各个特征的死亡率权重，包括：基于所述马尔科夫决策模型，利用极限梯度提升算法进行二分类训练，将患者在每个时间序列的状态作为特征值，以最终存活情况作为标签，训练生成死亡率预测模型；基于死亡率预测模型，将患者按最终存活或死亡的情况划分，利用KNN算法，基于闵可夫斯基距离公式计算患者各个特征的死亡率权重。4.根据权利要求2所述的脓毒症治疗策略的学习方法，其特征在于，所述深度强化学习方法为Double Dueling DQN深度强化学习方法。5.根据权利要求4所述的脓毒症治疗策略的学习方法，其特征在于，所述利用深度强化学习方法来学习治疗策略，包括修改损失函数以及对AI治疗策略的动作选择增加现实限制。6.一种脓毒症治疗策略的学习方法，其特征在于，包括：基于样本数据建立关于脓毒症治疗策略的马尔科夫决策模型；所述样本数据为脓毒症患者在预设时间内的病理数据；根据所述马尔科夫决策模型，建立脓毒症的死亡率预测模型，并获取脓毒症患者各个特征的死亡率权重；利用所述死亡率权重对...

【专利技术属性】
技术研发人员：余超，黄荣恒，
申请(专利权)人：中山大学，
类型：发明
国别省市：