临床处理方案的确定方法、装置、设备及介质制造方法及图纸

本申请涉及智慧医疗领域，公开了一种临床处理方案的确定方法，包括：每隔预设时长获取一次监测数据，并判断监测数据中的生理信号数据是否达到预设阈值；若达到，则将监测数据对应的时段作为新阶段的起始，在预设的强化学习模型中，根据监测数据得到新阶段对应的目标处理方案，并调整当前处理方案至目标处理方案，其中，预设的强化学习模型为变长深度Q网络模型；若未达到，则在监测数据对应的时段内，保持当前处理方案。本申请的方法解决了现有方法无法解决非定长场景下的处理方案推荐的问题。法解决非定长场景下的处理方案推荐的问题。法解决非定长场景下的处理方案推荐的问题。

【技术实现步骤摘要】
临床处理方案的确定方法、装置、设备及介质


[0001]本申请涉及智慧医疗领域，尤其是涉及到一种临床处理方案的确定方法、装置、设备及介质。

技术介绍

[0002]在医疗领域，针对慢性病等病症，通常可从患者的长期治疗目标出发，通过不断尝试不同的治疗方案以及感知环境中的生理信号变化，来优化推荐的处理方案，以实现长期治疗目标的最大化。
[0003]在实际应用过程中，通常采用强化学习方法/模型进行长期目标最大化优化。以糖尿病患者血糖控制为例，假设利用基于序列生理信号的数据采集设备，可以实时获取患者的血糖、胰岛素注射量、餐后进食量等各种指标，目标是帮助患者在长期治疗中控制血糖、降低低血糖和高血糖的风险，提高生活质量。
[0004]然而，以往强化学习模型只能对定长序列粒度进行推荐，而很多时候处理方案推荐需求是非定长的，比如，在ICU中使用呼吸机的患者只有在某些signal信号出现变化时才需要改变处理策略，而现有的强化学习模型显然无法适用于这样的应用场景。

技术实现思路

[0005]有鉴于此，本申请提供了一种临床处理方案的确定方法、装置、介质及设备，解决了现有方法无法解决非定长场景下的处理方案推荐的问题。
[0006]本申请的第一方面，提供了一种临床处理方案的确定方法，所述方法包括：
[0007]每隔预设时长获取一次监测数据，并判断所述监测数据中的生理信号数据是否达到预设阈值；
[0008]若达到，则将所述监测数据对应的时段作为新阶段的起始，在预设的强化学习模型中，根据所述监测数据得到所述新阶段对应的目标处理方案，并调整当前处理方案至所述目标处理方案，其中，所述预设的强化学习模型为变长深度Q网络模型；
[0009]若未达到，则在所述监测数据对应的时段内，保持所述当前处理方案。
[0010]本申请的第二方面，提供了一种临床处理方案的确定装置，所述装置包括：
[0011]状态监测模块，用于每隔预设时长获取一次监测数据，并判断所述监测数据中的生理信号数据是否达到预设阈值；
[0012]方案确定模块，用于若达到，则将所述监测数据对应的时段作为新阶段的起始，在预设的强化学习模型中，根据所述监测数据得到所述新阶段对应的目标处理方案，并调整当前处理方案至所述目标处理方案，其中，所述预设的强化学习模型为变长深度Q网络模型；以及，若未达到，则在所述监测数据对应的时段内，保持所述当前处理方案。
[0013]本申请的第三方面，提供了一种设备，包括存储介质、处理器及存储在存储介质上并可在处理器上运行的指令或代码，所述处理器执行所述指令或代码时实现上述临床处理方案的确定方法。
[0014]本申请的第四方面，提供了一种介质，其上存储有指令或代码，所述指令或代码被处理器执行时实现上述临床处理方案的确定方法。
[0015]上述临床处理方案的确定方法、装置、设备及介质所实现的方案，每隔预设时长获取一次监测数据，根据监测数据判断是否需要调整处理方案，若需要则采用变长的DQN强化学习模型处理变长序列，生成新的处理方案，若不需要则保持处理方案不变，解决了现有方法无法解决非定长场景下的处理方案推荐的问题。这样分阶段调整的治疗方案更加符合临床实际，无需每隔一段时间就调整一次治疗方案，减少不必要的方案调整，也避免在患者的生理信号已经达到阈值时，由于未到方案调整时间而仍沿用之前的治疗方案，导致治疗时机延误，影响治疗效果。
[0016]上述说明仅是本申请技术方案的概述，为了能够更清楚了解本申请的技术手段，而可依照说明书的内容予以实施，并且为了让本申请的上述和其它目的、特征和优点能够更明显易懂，以下特举本申请的具体实施方式。
附图说明
[0017]为了更清楚地说明本专利技术实施例的技术方案，下面将对本专利技术实施例的描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本专利技术的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。
[0018]图1示出了本申请实施例提供的一种临床处理方案的确定方法的流程示意图；
[0019]图2示出了本申请实施例提供的另一种临床处理方案的确定方法的流程示意图；
[0020]图3出了本申请实施例提供的一种临床处理方案的确定装置的结构框图；
[0021]图4出了本申请实施例提供的一种电子设备的结构框图。
具体实施方式
[0022]下面将结合本专利技术实施例中的附图，对本专利技术实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本专利技术一部分实施例，而不是全部的实施例。基于本专利技术中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本专利技术保护的范围。
[0023]本申请实施例提供的临床处理方案的确定方法，可以应用在具有指令或程序运行能力的电子设备中。其中，电子设备可以但不限于各种服务器、工作站、个人计算机、笔记本电脑等。运行在不同的运算设备仅是方案在执行主体上的差异，本领域人员可预见在不同运算设备中运行能够产生相同的技术效果。下面通过具体的实施例对本专利技术进行详细的描述。
[0024]请参阅图1所示，图1为本专利技术实施例提供的临床处理方案的确定方法的一个流程示意图，包括如下步骤：
[0025]S101：每隔预设时长获取一次监测数据，并判断监测数据中的生理信号数据是否达到预设阈值。
[0026]本专利技术提供的方法，可基于患者的生理信号变化，针对不定长的序列粒度制定处理方案，从而只在需要改变处理策略时进行方案推荐，更符合医疗实际。
[0027]具体地，首先每隔预设时长获取一次监测数据，得到监测数据的序列。监测数据中包括生理信号数据，可以理解的是，生理信号是由人体内部产生的各种信号，如心电信号、脑电信号、血压信号、呼吸信号、体温信号等。这些信号可以通过各种生理监测设备获取和记录。生理信号可以用于疾病的诊断、治疗和监测，以及对身体健康状况的评估。因此，生理信号的变化可以在一定程度上反映患者的状态变化，在生理信号达到预设阈值时，可认为基于患者当前状态，需要调整处理方案才能得到更好的治疗效果。
[0028]例如，在糖尿病患者血糖控制过程中，可将血糖作为生理信号。以1小时作为预设时长，每隔1小时采集一次患者的血糖。在临床治疗过程中，正常的空腹血糖值不高于6.1mmol/L，血糖受损的空腹血糖值6.1
‑
6.9mmol/L之间，糖尿病患者的空腹血糖值高于7.0mmol/L，严重糖尿病患者的空腹血糖值显著升高至大于11.1mmol/L。因此，针对该患者的长期治疗过程中，可将11.1mmol/L作为一个预设阈值，若该患者的空腹血糖值达到11.1mmol/L，则认为患者病情加重，需要调整治疗方案，避免血糖值进一步上升。此外，还可将7.0mmol/L也作为一个预设阈值，若该患者的空腹血糖值达到7.0mmol/L，则认为患者病情得到有效控制，因此可调整治疗方案，进一步巩固治疗。...

【技术保护点】

【技术特征摘要】
1.一种临床处理方案的确定方法，其特征在于，所述方法包括：每隔预设时长获取一次监测数据，并判断所述监测数据中的生理信号数据是否达到预设阈值；若达到，则将所述监测数据对应的时段作为新阶段的起始，在预设的强化学习模型中，根据所述监测数据得到所述新阶段对应的目标处理方案，并调整当前处理方案至所述目标处理方案，其中，所述预设的强化学习模型为变长深度Q网络模型；若未达到，则在所述监测数据对应的时段内，保持所述当前处理方案。2.根据权利要求1所述的方法，其特征在于，所述在预设的强化学习模型中，根据所述监测数据得到所述新阶段对应的目标处理方案，包括：在所述预设的强化学习模型中，根据所述监测数据得到患者的当前状态；分别预估在所述当前状态下，施加不同动作数据对应的动作后，下一阶段对应的预估回报值；在所述下一阶段对应的预估回报值中，确定最大的预估回报值为目标回报值，并确定所述目标回报值对应的动作数据为目标动作数据，所述目标动作数据对应的处理方案为所述目标处理方案。3.根据权利要求1所述的方法，其特征在于，在所述在预设的强化学习模型中，根据所述监测数据得到所述新阶段对应的目标处理方案之前，所述方法还包括：获取包括多个数据段的训练数据序列，其中，每个所述数据段中的训练数据包括状态数据以及动作数据；将每个所述数据段作为一个阶段，依次输入所述预设的强化学习模型中；在每个所述阶段中，根据所述状态数据、所述动作数据，以及所述阶段对应的相对时长，计算所述阶段对应的损失函数；根据所述损失函数调整所述预设的强化学习模型的模型参数，直至所述损失函数满足预设训练条件。4.根据权利要求3所述的方法，其特征在于，所述根据所述状态数据、所述动作数据，以及所述阶段对应的相对时长，计算所述阶段对应的损失函数，包括：预估在所述状态数据对应的患者状态下，施加所述动作数据对应的动作时的预估回报值，并获取与所述预估回报值对应的实际回报值；预估在所述状态数据对应的患者状态下，施加所述动作数据对应的动作后，下一个阶段对应的预估状态...

【专利技术属性】
技术研发人员：徐卓扬，
申请(专利权)人：平安科技深圳有限公司，
类型：发明
国别省市：