【技术实现步骤摘要】
本专利技术涉及基于q值模型的肝素治疗脓毒症的策略推荐方法，属于医疗大数据、人工智能领域，尤其适用于基于q值模型的肝素治疗脓毒症的策略推荐及评估。
技术介绍
1、脓毒症(sepsis)是一种由感染引起的全身炎症反应综合征，严重时可导致多脏器功能障碍，甚至死亡。复杂的病理生理学和高的患者异质性给优化个体化治疗带来了重大挑战。及时的干预对脓毒症的治疗是至关重要的，延迟治疗或次优决定可能会增加死亡风险。肝素是目前应用最广泛的抗凝药物，能抑制hmgb1与脂多糖的结合，并可阻止乙酰肝素酶降解巨噬细胞的糖萼，进而产生显著的抗炎作用，以改善术后脓毒症患者的预后。
2、准确的患者状态评估和优化的治疗策略对于改善脓毒症治疗的预后至关重要。q值模型(q-learning，ql)作为人工智能领域中强化学习的一个重要方法，其核心目标是通过与环境的交互来学习最优策略，以实现特定任务的最大化奖励。在医疗健康领域，ai策略的开发和应用日益受到重视，特别是在复杂决策过程如治疗方案选择中。然而，ai策略的评估面临诸多挑战，尤其是如何在缺乏明确标准或存在多专家意见不一致的情况下，准确评估ai策略的优劣。
3、传统上，ai策略的评估主要依赖于专家的主观判断，特别是在医疗领域，这种评估往往基于临床经验和直觉，缺乏量化和标准化的方法。尽管一些研究尝试引入数据驱动的评估方法，如基于价值函数(value function，q(s，a))的评估，这种方法虽然能够提供一定量化的评估指标，但其定义超ρep、次ρep治疗方案的标准往往过于简化，仅限于生存率或死
4、据统计，几乎所有对ai策略的评估都只通过考虑价值函数q(s，a)来判断是否是最佳策略，而忽视了更差或最差的ai策略。这种基于价值函数的评价方法不够全面。基于价值函数的评估方法忽略了策略在执行过程中的动态性和复杂性，未能充分考虑策略在不同环境状态下的表现差异。
技术实现思路
1、有鉴于此，本专利技术提供了基于q值模型的肝素治疗脓毒症的策略推荐方法，旨在通过q值模型建立网络模型，利用数据库中数据对网络模型进行训练，通过多指标评估体系更准确地识别“最佳”和“最差”ai策略，实现对患者采用肝素治疗脓毒症的策略推荐。详细地，本专利技术方法拟将离散的sofa评分平滑到连续的cxsofa评分以设计奖励函数，实现q值模型的奖励更新，同时从综合比较矩阵入手对q值模型进行评价，并设置合理的最优策略选择终止条件、筛选最优参数，最终保障本专利技术方法输出的推荐策略以及预警的及时性和准确性。
2、为达到上述目的，本专利技术提供如下技术方案：
3、基于q值模型的肝素治疗脓毒症的策略推荐方法，结合图1，其特征在于该方法包含以下步骤：
4、s1：将体征监测和肝素剂量的历史数据按照患者和时间时序数据进行预处理，得到患者时序数据；
5、s2：采用cxsofa评分方法对患者时序数据进行逐个时刻的评分，并将该时刻的评分作为新的特征并入到患者时序数据中；
6、s3：将相邻时刻的cxsofa评分差作为奖励函数，将肝素剂量作为动作，将体征监测作为状态，建立q值模型；
7、s4：将患者时序数据输入到q值模型进行训练，通过比较q值，得到当前轮次的最佳策略和最差策略，并记录q值模型参数；
8、s5：计算当前轮次每个患者的正激励率ρep，根据ρep将患者时序数据分别标注成超ρep治疗方案和次ρep治疗方案；
9、s6：遍历所有轮次选择的最佳策略、最差策略以及对应的超ρep、次ρep治疗方案的标注，分别计算每批次的综合比较矩阵，比较筛选出全局最佳策略和全局最差策略；
10、s7：重复步骤s4～步骤s6，直到q值模型满足η极优终止准则；
11、s8：利用全局最佳策略和全局最差策略对应的q值模型参数构建q值模型，实现对患者肝素治疗脓毒症的策略推荐。
12、进一步，步骤s1所述的预处理为：将病人唯一的标识id相同的全部数据按照时间时序数据进行排序，并做归一化处理。
13、步骤s2中所述的cxsofa评分的范围为0～24分，由6个部分组成，每个部分的范围为0～4分，6个部分分别为呼吸系统(respiratory)、凝血系统(coagulation)、肝功能(liver)、循环系统(circulatory)、神经系统(nervous system)、肾功能(renal)，每个部分都需要用若干个体征监测数据来计算一个评分，如表1中所示：
14、表1生命体征状态符号表示
15、
16、步骤s2所述的cxsofa评分方法是对sofa评分方法的改进，将sofa评分方法连续化：
17、cxsofa(x)＝f1(x)+f2(x)+f3(x)+f4(x)+f5(x)+f6(x)；
18、更进一步，具体计算如下：
19、(1)f1(x)的计算方式为：
20、(2)f2(x)的计算方式为：
21、(3)f3(x)的计算方式为：
22、(4)f4(x)的计算方式为：f4(x)＝max(x41,x42，x43，x44，x45)；
23、其中，x43＝bool(x6＞0)*2，x44＝min(bool(x7＞0)，10*x7+3)，x45＝min(bool(x8>0)，10*x8+3)；
24、(5)f5(x)的计算方式为：
25、(6)f6(x)的计算方式为：f6(x)＝max(x61,x62)；
26、其中，
27、其中，某时刻的体征监测数据x＝(x1，…，x11)，对应表1中的各项生命体征，0≤i≤11；fi(x)为通过多项式函数拟合得到的相应阶跃函数。
28、进一步，步骤s3所述相邻时刻状态的cxsofa评分差为：rt＝cxsofa(st)-cxsofa(st+1)，所述的q值模型为double deep q network(ddqn)模型，由q网络、目标网络和经验缓冲池构成；所述的q网络输入为经验缓冲池中的当前状态st和当前动作at，输出为预测q值q(st，at；θ)，其中，θ为q网络训练参数；从经验缓冲池中获取下一时刻状态st+1，输入q网络得到该状态下采取各个动作分别获得的q值，取所有q值中最大的那个q值所对应的动作a′，与经验缓冲池中的下一时刻状态st+1一起输入所述的目标网络，得到最佳的q值q(st+1，a′；θ′)，其中，θ′为目标网络训练参数；将数据集中的时序数据以(st，at,rt，st+1)的形式，作为经验存入所述的经验缓冲池中；训练时，会随机给出一批下标，然后从经验缓冲池中提取出下标对应的经验；其中，状态st对应t时刻的体征监测数据，动作at对应t时刻的肝素剂量，奖励rt对应t时刻状态st与状态st+本文档来自技高网...
【技术保护点】
1.基于Q值模型的肝素治疗脓毒症的策略推荐方法，其特征在于，该方法包含以下步骤：
2.根据权利要求1所述的基于Q值模型的肝素治疗脓毒症的策略推荐方法，其特征在于，步骤S2所述的cxSOFA评分方法具体为：
3.根据权利要求1所述的基于Q值模型的肝素治疗脓毒症的策略推荐方法，其特征在于，步骤S3所述相邻时刻状态的cxSOFA评分差为：rt＝cxSOFA(st)-cxSOFA(st+1)。
4.根据权利要求1所述的基于Q值模型的肝素治疗脓毒症的策略推荐方法，其特征在于，步骤S4所述的比较Q值得到当前轮次最佳策略和最差策略，具体为：对任意的状态s，计算状态s以及动作a下的输出Q值，即Q(s,a)，根据和选出Q值最大和最小的策略，即最佳策略π*、最差策略π′；其中A为动作空间。
5.根据权利要求1所述的基于Q值模型的肝素治疗脓毒症的策略推荐方法，其特征在于，步骤S5具体为：
6.根据权利要求1所述的基于Q值模型的肝素治疗脓毒症的策略推荐方法，其特征在于，所述的步骤S6具体为：
7.根据权利要求1所述的基于Q值模型的肝
8.根据权利要求6所述的基于Q值模型的肝素治疗脓毒症的策略推荐方法，其特征在于，步骤S606所述的筛选全局最佳策略的方法可以通过引入临时变量存储全局最佳策略，只比较当前轮次和临时变量，进而判断出全局最佳策略。
...【技术特征摘要】
1.基于q值模型的肝素治疗脓毒症的策略推荐方法，其特征在于，该方法包含以下步骤：
2.根据权利要求1所述的基于q值模型的肝素治疗脓毒症的策略推荐方法，其特征在于，步骤s2所述的cxsofa评分方法具体为：
3.根据权利要求1所述的基于q值模型的肝素治疗脓毒症的策略推荐方法，其特征在于，步骤s3所述相邻时刻状态的cxsofa评分差为：rt＝cxsofa(st)-cxsofa(st+1)。
4.根据权利要求1所述的基于q值模型的肝素治疗脓毒症的策略推荐方法，其特征在于，步骤s4所述的比较q值得到当前轮次最佳策略和最差策略，具体为：对任意的状态s，计算状态s以及动作a下的输出q值，即q(s,a)，根据和选出q值最大和最小的策略，即最佳策略π*、最差策略π′；其中a为动作空间。
【专利技术属性】
技术研发人员：周婵，孙启龙，刘江，谢一豪，陈芋文，钟坤华，
申请(专利权)人：中国科学院重庆绿色智能技术研究院，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。