基于强化学习的医学图像分割方法技术

本发明专利技术公开了一种基于强化学习的医学图像分割方法，通过不同的图像样本，根据定义的状态，动作和奖赏，通过强化学习与环境的交互进行学习，采用试错的方式学习最优行为策略。最终形成一种新的基于强化学习的图像分割方法，利用已经学习到的知识对相似的医学图像进行分割。本发明专利技术的优点是能够有效的区分细胞核和胞浆，自适应的、增量的进行学习，并准确对图像进行分割。

【技术实现步骤摘要】

本专利技术涉及一种基于强化学习的、增量的医学图像分割方法。
技术介绍
对图像目标的精确分割是医学图像模式识别的重要基础之一。在肺癌细胞识别的应用中，大多数的肺癌细胞图像中细胞核与胞浆之间对比度较低，细胞核边缘与背景之间的边界模糊，再加上背景杂质噪声的影响，这都使得很难对肺癌细胞图像进行较精确的分割。传统的图像分割方法主要分为基于阈值的分割和基于梯度的分割。前者对于具有多峰灰度直方图的图像，不能准确的分割出目标区域。而后者对于目标和背景灰度接近的情况，同样不能很好的分割出目标区域。除此之外，由于肺癌细胞病理图像的图像采集有很大的差异性，这导致普通图象分割方法很难适应如此复杂的环境。目前，强化学习已被广泛应用于预测，智能控制，图像处理等诸多领域。与传统图像分割方法相比，具有增量学习能力，能够适应复杂环境，对医学肺癌细胞图像做出正确的分割。
技术实现思路
专利技术目的本专利技术的目的是针对现有技术的不足，提供一种能够做出正确的分割的。技术方案本专利技术通过不同的图像样本，根据定义的状态，动作和奖赏，通过强化学习与环境的交互进行学习，采用试错的方式学习最优行为策略。最终形成一种新的基于强化学习的图像分割方法，利用已经学习到的知识对相似的医学图像进行分割。该方法包括以下步骤(1)初始化Q矩阵，Q矩阵以二维数组形式记录在当前状态以及所有后继状态下以策略π去选择动作做获得的累积奖赏；(2)对新样本图像进行sobel(一种常用的边缘检测算子)边缘检测，得到边缘图像；(3)对新样本图像利用类间方差最大法进行分割，得到包含细胞核和胞浆的二值图像；(4)定义状态为当前阈值分割结果的目标轮廓边缘和sobel边缘检测得到的边缘相重叠的比值以及当前阈值分割结果的目标区域面积与类间方差最大法分割出来的目标区域面积重合的比值；定义动作为当前阈值增加或减少动作Ai代表的灰度级，A＝；定义奖赏为当前分割出的目标区域与图像实际最优分割的符合程度；(5)计算0-255每个分割阈值对应的状态和奖赏，如此每个阈值与状态和奖赏对应(6)重复步骤(7)，直到最近10次的平均Q矩阵前后更新的均方差小于0.005；(7)给定一个初始阈值，重复步骤(8)～(10)，直到阈值变化到最优分割阈值；(8)根据阈值得到当前状态；(9)采用ε-greedy策略(ε-greedy策略以1-ε的概率选择Q-矩阵中奖赏最大的动作，以ε的概率选择其他动作)选择动作，改变阈值；(10)根据改变阈值后的新阈值得到对应的反馈奖赏更新Q矩阵；(11)对新样本图像重复(2)～(10)。有益效果本专利技术的显著优点是能够有效的区分细胞核和胞浆，自适应的，增量的进行学习，并准确对图像进行分割。附图说明图1是本专利技术方法的框架模型。图2是本专利技术方法中的模块组成结构图。图3是本专利技术方法的流程图。图4是sobel算子进行边缘检测得到边缘图像。图5是类间方差最大分割的结果图像。图6是最优分割结果具体实施方式如图1所示，本专利技术方法的框架模型。如图2所示，本专利技术方法包含状态感知模块、动作选择模块、策略更新模块、奖赏感知模块和图像分割模块。本专利技术方法流程如图3所示，下面详细说明 步骤1，初始化Q矩阵，Q矩阵以二维数组形式记录在当前状态以及所有后继状态下以策略π去选择动作做获得的累积奖赏。步骤2，对新样本图像采用sobel算子(一种常用的边缘检测算子)进行边缘检测，得到边缘图像。边缘检测结果图像如图4所示。步骤3，对新样本图像进行类间方差最大分割，得到包含细胞核和胞浆的二值图像。类间方差最大分割的结果图像如图5所示。步骤4，定义状态S为当前阈值分割结果的目标轮廓边缘和sobel边缘检测得到的边缘相重叠的比值E以及当前阈值分割结果的目标区域面积与类间方差最大法分割出来的目标区域面积重合的比值F，即S＝(E×F)；定义动作为当前阈值增加或减少动作Ai代表的灰度级，A＝；定义奖赏R为当前分割出的目标区域与图像实际最优分割的符合程度。E=|EdgeTIEdgeS||EdgeS|---(1)]]>EdgeT为当前分割的边缘，Edges为边缘检测提取的边缘。F=|FrontTIFrontOSTU||FrontOSTU|---(2)]]>FrontT为当前分割的目标区域，FrontOSTU为采用类间方差最大法(OSTU)分割出来的目标区域。R=100×|BOIBT|+|FOIFT||BO+FO|---(3)]]>BO为最优分割的背景，FO为最优分割的前景目标。BT为当前分割的背景，FT为当前分割的前景目标。步骤5，根据(1)、(2)、(3)式计算0-255每个分割阈值对应的状态和奖赏，如此每个阈值与状态和奖赏对应。步骤6，重复步骤(7)，直到最近10次的平均Q矩阵更新前后的均方差小于0.005。步骤7，给定一个初始阈值，重复步骤(8)～(10)，直到阈值变化到最优分割阈值。步骤8，根据当前阈值得到当前状态。步骤9，采用ε-greedy策略(ε-greedy策略以1-ε的概率选择Q-矩阵中奖赏最大的动作，以ε的概率选择其他动作)选择动作，改变分割阈值。步骤10，根据改变阈值后的新阈值得到对应的反馈奖赏更新Q矩阵。更新公式如式(4)s为当前状态，a为对应s的动作，s’为执行动作a后的下一状态，a’为对应s’动作。Q(s,a)←Q(s,a)+α---(4)]]>步骤11，对新样本图像重复步骤2至10。权利要求1.一种，其特征在于该方法包括以下步骤(1)初始化Q矩阵，Q矩阵以二维数组形式记录在当前状态以及所有后继状态下以策略π去选择动作做获得的累积奖赏；(2)对新样本图像采用sobel算子进行边缘检测，得到边缘图像；(3)对新样本图像进行类间方差最大分割，得到包含细胞核和胞浆的二值图像；(4)定义状态S为当前阈值分割结果的目标轮廓边缘和sobel边缘检测得到的边缘相重叠的比值E以及当前阈值分割结果的目标区域面积与类间方差最大法分割出来的目标区域面积重合的比值F，即S＝(E×F)；定义动作为当前阈值增加或减少动作Ai代表的灰度级，A＝；定义奖赏R为当前分割出的目标区域与图像实际最优分割的符合程度；(5)计算0-255每个分割阈值对应的状态和奖赏，如此每个阈值与状态和奖赏对应；(6)重复步骤(7)，直到最近10次的平均Q矩阵更新前后的均方差小于0.005；(7)给定一个初始阈值，重复步骤(8)～(10)，直到阈值变化到最优分割阈值；(8)根据当前阈值得到当前状态；(9)采用ε-greedy策略选择动作，改变分割阈值；(10)根据改变阈值后的新阈值得到对应的反馈奖赏更新Q矩阵；(11)对新样本图像重复步骤2至10。全文摘要本专利技术公开了一种，通过不同的图像样本，根据定义的状态，动作和奖赏，通过强化学习与环境的交互进行学习，采用试错的方式学习最优行为策略。最终形成一种新的基于强化学习的图像分割方法，利用已经学习到的知识对相似的医学图像进行分割。本专利技术的优点是能够有效的区分细胞核和胞浆，自适应的、增量的进行学习，并准确对图像进行分割。文档编号G06T5/00GK101042771SQ200710021810公开日2007年9月26日 申请日期2007本文档来自技高网...

【技术保护点】
一种基于强化学习的医学图像分割方法，其特征在于该方法包括以下步骤：（１）初始化Ｑ矩阵，Ｑ矩阵以二维数组形式记录在当前状态以及所有后继状态下以策略π去选择动作做获得的累积奖赏；（２）对新样本图像采用ｓｏｂｅｌ算子进行边缘检测， 得到边缘图像；（３）对新样本图像进行类间方差最大分割，得到包含细胞核和胞浆的二值图像；（４）定义状态Ｓ为当前阈值分割结果的目标轮廓边缘和ｓｏｂｅｌ边缘检测得到的边缘相重叠的比值Ｅ以及当前阈值分割结果的目标区域面积与类间方差最 大法分割出来的目标区域面积重合的比值Ｆ，即Ｓ＝（Ｅ×Ｆ）；定义动作为当前阈值增加或减少动作Ａ↓［ｉ］代表的灰度级，Ａ＝［－３０－１０－５－１０１５１０３０］；定义奖赏Ｒ为当前分割出的目标区域与图像实际最优分割的符 合程度；（５）计算０－２５５每个分割阈值对应的状态和奖赏，如此每个阈值与状态和奖赏对应；（６）重复步骤（７），直到最近１０次的平均Ｑ矩阵更新前后的均方差小于０．００５；（７）给定一个初始阈值，重复步骤（８）～（１０） ，直到阈值变化到最优分割阈值；（８）根据当前阈值得到当前状态；（９）采用ε－ｇｒｅｅｄｙ策略选择动作，改变分割阈值；（１０）根据改变阈值后的新阈值得到对应的反馈奖赏更新Ｑ矩阵；（１１）对新样本图像重复步骤２至 １０。...

【技术特征摘要】

【专利技术属性】
技术研发人员：高阳，朱亮，
申请(专利权)人：南京大学，
类型：发明
国别省市：84[中国|南京]