一种基于深度强化学习算法的肺结节分析方法及装置制造方法及图纸

本发明专利技术公开了一种基于深度强化学习算法的肺结节分析方法及装置，所述方法包括构造肺结节分析模型；然后获得待分析图像；将待分析图像数据输入至分析模型中的识别模块，识别模块根据预设征象分类模型给出肺结节的分类结果；根据分类结果确定待分析图像数据的分析结果并输出。本发明专利技术实施例所提供的肺结节分析方法通过深度强化学习原理进行肺结节的分析，提高了肺结节分析结果的准确性。

A pulmonary nodule analysis method and device based on deep reinforcement learning algorithm

【技术实现步骤摘要】
一种基于深度强化学习算法的肺结节分析方法及装置
本专利技术涉及机器学习
，尤其涉及一种基于深度学习算法的肺结节分析方法及装置。
技术介绍
肺癌患者在就诊时，医生需要人为观测其肺部影像，对患者所患有的肺结节进行分析，目前影像检查诊断需求逐年增多，每年的影像数据增长与放射科医生增长比悬殊太大，美国约为2.84倍，中国约为7.32倍。有经验医生远远不能满足临床的需求。据国家卫健委统计显示，2013至2015年三年中，全国累计完成放射诊疗12.4亿人次。而“2017中国医师协会放射医师年会”数据显示，全国放射从业人员约15.8万，其中放射医师只有约8万，具有副主任医师以上职称的只有2万人。一个普通医院的放射科医生每天平均要写80-100份CT报告，有时甚至上百个。一个病人的医疗影像有250-300张，而医生往往要对一个病人的影像反复看3-4遍才能写诊断报告。即便是满负荷工作，也需要十几个小时才能把所有的CT影像全部看完，基于深度学习的CAD技术逐渐得到医生的信赖和采用，特别是肺结节的检测任务，基于深度学习的CAD技术能够大大减少医生的工作量，但是影像科专家无法再抽出大量时间做样本标注工作，从而导致漏诊误诊。基于此，目前亟需提供一种基于深度强化学习算法的肺结节分析的方法及装置，用于提高分析肺结节的准确率。
技术实现思路
本专利技术的目的是提供一种基于深度强化学习算法的肺结节分析方法及装置，用于提高分析肺结节的准确率。本专利技术所采用的技术方案是，一种基于深度强化学习算法的肺结节分析方法，包括：构造一种基于深度强化学习算法的肺结节分析模型，所述肺结节分析模型包括胶囊网络模块、识别模块、结果确定模块；获取待分析图像；将所述待分析图像输入所述肺结节分析模型，肺结节分析模型中的胶囊网络模块计算图像的Qtarget值，所述识别模块包括预设征象分类模型，并由所述预设征象分类模型给出肺结节的分类结果；通过结果确定模块根据所述分类结果确定所述待分析图像数据的分析结果并输出。本专利技术构造的一种基于深度强化学习算法的肺结节分析模型，其特征在于：首先输入大量图片，胶囊网络对输入图片进行两级卷积之后再对特征使用胶囊封装并进行学习，产生一个算法方案；对于一张512×512像素的CT图像，算法首先使用滑动窗口在CT图像上获取32×32像素图像块，同时记录下图像块的左上角坐标(xi,yi)；从CT图像上提取的全部图像块集合可以视为胶囊网络所处的环境E，E图块集中的所有图块可以视为一个事件的所有状态S,S中的每个图像块对应强化学习算法中的一个状态st,st∈S；胶囊网络从环境E中接收一个图像块，算法方案中的胶囊网络采用学到的策略π对S中的st从动作空间A中选择执行相应的动作at，输出此状态的类别属性cj；当胶囊网络对从一张CT影像上取得的所有图块si执行完相应的动作at后，标记为一集(Episode)结束，并将最后的结果按预设征象分类模型给出分类结果，按图块的坐标位置显示在CT图像上；从而构造了一种基于深度强化学习算法的肺结节分析模型。本专利技术胶囊网络计算目标Qtarget值采用如下方法进行计算：基于在线深度强化学习策略，采用了传统的DQN算法，其目标Qtarget值用式(1)计算：式中，rt+1——下一个动作的回报，γ——折扣因子，——下一个状态的最大的Qtarget值。用于计算目标Qtarget值的目标网络是动态的，随着网络的更新而变化。而最终的目标Qtarget值是一集中所有状态正确时回报的累加，也是确定的。本专利技术根据所述分类结果确定所述待分析图像数据的分析结果并输出，输出患者的肺结节分析结果为患者患有的肺结节的征象。可选的，所述所述预设分类神经网络模型为预设征象分类胶囊网络模型；所述预设征象分类胶囊网络模型是通过对多个患者对应的特征向量、每个患者患有的肺结节的征象进行训练得到的。可选的，使用CapsNet代替Qtarget值函数，其中CapsNet的损失函数表达式如下：Lj(ωj)＝Es，a～ρ(·)[(yj-Q(s，a：ωj))2](2)式中，ρ(·)表示对于一个state(待诊断图像块)经由CapsNet预测给出的图像块中征象类别，Es，a～ρ(·)表示环境值，yj表示第j次迭代目标函数的值，表示上一步计算的Qtarget值相应的，本专利技术还提供了一种基于深度强化学习算法的肺结节分析装置，包括：数据存储装置，用于存储一个或多个程序；构造模块，用于构造基于深度强化学习不同算法的肺结节分析模型；获取模块，用于获得患者的肺部图像；分析模块，用于将所述待分析图像划分区域形成图像数据，并将数据输入预先训练好的肺结节分析模型，获得所述分析模型输出的分类结果；分析结果确定模块，根据所述分类结果确定所述待分析图像的分析结果；输出模块，用于分析结果的数据输出和肺结节图像输出；中央处理器，用于执行所述一个或多个程序，使得实现本专利技术任意实施例所提供的用于肺结节分析方法。可选的，本专利技术还提供一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现如本专利技术任意实施例所提供的肺结节分析方法。附图说明图1是本专利技术实施例一所提供的一种基于深度强化学习算法的肺结节分析方法的流程图；图2是本专利技术实施例二所提供的一种基于深度强化学习算法的肺结节分析方法的流程图；图3是本专利技术实施例三所提供的一种基于深度强化学习算法的肺结节分析装置的结构示意图。具体实施方式下面结合附图和实施例对本专利技术作进一步的详细说明，本
的人员会理解，下面实施例旨在用于解释本专利技术，而不应视为对本专利技术的限制。除非特别说明，下面实施例中没有明确描述具体技术或条件的，本领域技术人员可以按照本领域内的常用的技术或条件或按照产品说明书进行。所用试剂或仪器未注明生产厂商者，均为通过市场可购买到的常规产品。实施例一图1是本专利技术实施例一所提供的一种基于深度强化学习算法的肺结节分析方法的流程图。本实施例可适用于根据肺部图像对肺结节进行分析时的情形。该方法可以由肺结节分析装置执行，该肺结节分析装置可以采用软件和/或硬件的方式实现，例如，该肺结节分析装置可配置于计算机设备中。如图1所示，具体包括以下步骤：构造一种基于深度强化学习算法的肺结节分析模型，所述肺结节分析模型包括胶囊网络模块、识别模块、结果确定模块；获取待分析图像；将所述待分析图像输入所述肺结节分析模型，肺结节分析模型中的胶囊网络模块计算图像的Qtarget值，所述识别模块包括预设征象分类模型，并由所述预设征象分类模型给出肺结节的分类结果；根据所述分类结果确定所述待分析图像数据的分析结果并输出。本专利技术构造的一种基于深度强化学习算法的肺结节分析模型，其特征在于：首先输入大量图片，胶囊网络对输入图片进行两级卷积之后再对特征使用本文档来自技高网...

【技术保护点】
1.一种基于深度强化学习算法的肺结节分析方法，其特征在于，具体包括以下步骤：/n步骤一：构造基于深度强化学习算法的肺结节分析模型，所述肺结节分析模型包括胶囊网络模块、识别模块、结果确定模块；/n步骤二：获取待分析图像；/n步骤三：将所述待分析图像输入所述肺结节分析模型，肺结节分析模型中的胶囊网络模块基于在线深度强化学习策略，采用传统的DQN算法，其目标Q

【技术特征摘要】
1.一种基于深度强化学习算法的肺结节分析方法，其特征在于，具体包括以下步骤：
步骤一：构造基于深度强化学习算法的肺结节分析模型，所述肺结节分析模型包括胶囊网络模块、识别模块、结果确定模块；
步骤二：获取待分析图像；
步骤三：将所述待分析图像输入所述肺结节分析模型，肺结节分析模型中的胶囊网络模块基于在线深度强化学习策略，采用传统的DQN算法，其目标Qtarget值用式(1)计算：



式中，rt+1——下一个动作的回报，γ——折扣因子，——下一个状态的最大的Qtarget值；
所述识别模块包括预设征象分类模型，并由所述预设征象分类模型给出肺结节的分类结果；
步骤四：通过结果确定模块根据所述分类结果确定所述待分析图像数据的分析结果并输出。


2.根据权利要求1所述的一种基于深度强化学习算法的肺结节分析方法，其特征在于，所述步骤一中构造的基于深度强化学习算法的肺结节分析模型具体包括以下步骤：
步骤(一)：首先输入大量图片，胶囊网络对输入图片进行两级卷积之后再对特征使用胶囊封装并进行学习，产生一个算法方案；
步骤(二)：对于一张512×512像素的CT图像，算法首先使用滑动窗口在CT图像上获取32×32像素图像块，同时记录下图像块的左上角坐标(xi，yi)；从CT图像上提取的全部图像块集合视为胶囊网络所处的环境E，E图块集中的所有图块视为一个事件的所有状态S,S中的每个图像块对应强化学习算法中的一个状态st,st∈S；
步骤(三)：胶囊网络从环境E中接收一个图像块，算法方案中的胶囊网络采用学到的策略π对S中的st从动作空间A中选择执行相应的动作at，输出此状态的类别属性cj；
步骤(四)：当胶囊网络对从一张CT影像上取得的所有图块si执行完...

【专利技术属性】
技术研发人员：刘峡壁，郑光远，马霄虹，赵心明，万玉钗，王穆荣，韩光辉，刘伟华，
申请(专利权)人：北京理工大学，中国医学科学院肿瘤医院，
类型：发明
国别省市：北京;11