【技术实现步骤摘要】
本专利技术属于医学图像处理，具体涉及一种基于半监督循环生成对抗网络的胃肠道肿瘤分割网络。
技术介绍
1、目前有较多的经典网络模型都是对基于编解码结构的u-net网络进行改进，例如resunet、ca-net、msca-net、nu-net等。但于医学图像的语义特征与自然图像相比较为单一，因此图像中的纹理、边缘等低级语义信息在分割任务中显得尤为重要。然而，上述的各类方法都是基于有监督的训练策略，这意味着需要大量的训练样本来训练网络。
2、对于某些特定的医学目标分割任务来说，获取足够数量的训练数据往往是困难的，并且标注这些数据也需要耗费大量的人力成本。多任务网络利用同一个样本的不同标签对数据进行描述，使网络可以更注重于有效的特征，从而降低网络的过拟合风险，增强网络的泛化能力；但这种方式需要根据病变的特点进行针对性的设计，直接扩展到其他类型的病变时可能会导致性能的严重下降。因此，希望不局限于胃肠道肿瘤这种特定的病变分割，在其他受限于数据集数量的病变分割任务也能拥有较好的性能。
3、针对数据集缺乏的问题，一些学者探索使用基于卷积神经网络的图像生成网络合成新的图像来扩充数据集中样本的数量。然而，扩充训练集所产生的效果往往受限于已注释样本的规模，这些方法获得的性能提升有限。此外，还有一些方法需要额外标注病灶所在的器官作为辅助约束，以避免生成器官或病灶位置不合理的图像，这类方法进一步增加了网络训练的复杂性，并限制了其适用范围。此外，也有一些方法采用了自编码器或gans模型先进行无监督的异常病灶定位，再生成对应的无病灶图
技术实现思路
1、为解决现有技术存在的技术问题，本专利技术提供了基于半监督循环生成对抗网络的胃肠道肿瘤分割网络，同时生成与训练集相似的病变图像和对病变区域进行分割的网络cycleseg(循环生成分割网络)，由于健康的ct图像相较于病变图像更容易获得，将健康的图像与病变信息耦合生成伪病变图像，这种转化方式由于使用了健康的图像作为基础，生成更加可信的伪病变图像，摆脱了已注释样本规模的限制，生成更加多样性的病变图像。
2、为实现上述目的，本专利技术所采用的技术方案为：基于半监督循环生成对抗网络的胃肠道肿瘤分割网络，上循环生成支路、中间分割支路和下循环生成支路；上循环生成支路为病变-健康-病变支路，该支路包含一个共享图像编码器和一个背景特征解码器，共享图像编码器将病变域i与健康域h的图像编码到共同的特征空间，背景特征编码器针对特征空间中的背景进行编码；
3、下循环生成支路为健康-病变-健康支路，该支路与上循环生成支路使用同一个共享图像编码器，该支路包含一个病变特征解码器，病变特征编码器将背景特征编码器编码后的背景信息与病变信息融合后的特征进行解码，重建出合成的病变图像。
4、将特征空间中的通道分为对应于背景信息的组别和对应于病变目标信息的组别，给定不成对的图像xh∈ih和xi∈ii，通过共享解码器将不成对图像xh∈ih和xi∈ii映射到特征空间中，ih代表健康图像域，ii代表病变图像域，输入图像中包含背景信息与病变信息两个部分，将相应输入图像的潜在特征表示为：
5、
6、其中，ti为病变图像在特征空间中的病灶信息，bi为病变图像在特征空间中的背景信息，健康图像对应的特征为代表将与病灶信息替换的背景信息，代表健康图像中健康区域的背景信息，将健康图像的背景特征与病变图像的肿瘤特征ti在通道维度级联，送入病灶解码器dt中生成伪病变图像，病变图像的背景特征送入到背景解码器中生成对应的伪健康图像；
7、
8、病变图像中的病变特征送入中间分割支路的病灶分割解码器dt中，生成最终的分割预测图xseg；
9、共享解码器e对伪健康图像xih与伪病变图像xhi再次进行编码，获得在特征空间中的表示{t′i,b'i}、之后重复上述编码过程，即将伪健康图像xhi的背景信息与伪病变图像xih的病变信息耦合送入病变图像解码器dt中，生成重建的病变图像将伪病变图像的背景信息单独送入健康图像解码器db中，生成重建的健康图像即：
10、
11、
12、将输入的病变图像特征从通道维度分离为两部分：一部分送入分割支路，对生成的预测结果利用分割损失约束，提取与病变相关的特征通道被称为病变特征通道；另一部分通过病灶-健康转化支路输出病变图像对应的伪健康图像，受到健康图像重建支路的约束，所包含的信息为除病变以外的背景信息形成背景特征通道；
13、利用健康图像作为引导特征，辅助病灶-健康支路重建伪健康图像；
14、fi为特征选择模块的输入经过编码后的病变图像特征，fh为特征选择模块的输入经过编码后的健康图像特征，ft为病变特征，fih为用于重建伪健康图像的特征，fhi为用于重建伪病变图像的特征，输入的编码特征经过相同的通道级分离操作：
15、[ti,bi]＝splitc(fi) (5)
16、
17、ti表示病变图像特征解耦出的病灶特征，bi表示病变图像特征解耦出的背景特征，表示健康图像用于与病灶特征替换的背景特征，表示健康图像用于图像重建的背景特征，将病灶特征与背景信息级联组成伪病变图像特征，病变特征为从病变图像特征分离出的ti：
18、
19、病变图像中的背景信息首先使用一个1*1的卷积计算v矩阵，使用另一个1*1的卷积计算q矩阵与k矩阵，对用于重建的健康图像的背景信息进行相同的操作，其中代表矩阵乘法：
20、qi,ki,vi＝conv1×1(bi) (8)
21、
22、
23、将训练集中的真实标签进行逐像素的累加，然后进行归一化并获得每个位置出现目标的概率分布，将生成的预测图与概率图谱相乘实现像素选择的过程，概率谱图的计算通过以下公式表示：
24、
25、soutput＝[pa⊙spred+0.5] (12)
26、其中，代表训练集中训练图像对应的gt，spred为网络图像级分割预测图，⊙为哈达马积，[·]为取整函数。
27、网络模型包括图像编码器、健康图像解码器、病变图像解码器以及分割解码器；
28、总损失函数由生成对抗损失lgan、循环一致性损失lrec和分割损失lseg组成；
29、将对抗损失应用于两个映射函数，对于映射函数g:h→i及其判别器di，将目标表示为：
30、
31、其中，g为生成与i域中的图像相似的图像g(h)，di旨在区分转化样本g(h)和真实样本i；
32、本文档来自技高网...
【技术保护点】
1.基于半监督循环生成对抗网络的胃肠道肿瘤分割网络，其特征在于，包括上循环生成支路、中间分割支路和下循环生成支路；
2.根据权利要求1所述的基于半监督循环生成对抗网络的胃肠道肿瘤分割网络，其特征在于，将特征空间中的通道分为对应于背景信息的组别和对应于病变目标信息的组别，给定不成对的图像XH∈IH和XI∈II，通过共享解码器将不成对图像XH∈IH和XI∈II映射到特征空间中，IH代表健康图像域，II代表病变图像域，输入图像中包含背景信息与病变信息两个部分，将相应输入图像的潜在特征表示为：
3.根据权利要求2所述的基于半监督循环生成对抗网络的胃肠道肿瘤分割网络，其特征在于，将输入的病变图像特征从通道维度分离为两部分：一部分送入分割支路，对生成的预测结果利用分割损失约束，提取与病变相关的特征通道被称为病变特征通道；另一部分通过病灶-健康转化支路输出病变图像对应的伪健康图像，受到健康图像重建支路的约束，所包含的信息为除病变以外的背景信息形成背景特征通道；
4.根据权利要求1所述的基于半监督循环生成对抗网络的胃肠道肿瘤分割网络，其特征在于，将训练集中的真
5.根据权利要求4所述的基于半监督循环生成对抗网络的胃肠道肿瘤分割网络，其特征在于，网络模型内设图像编码器、健康图像解码器、病变图像解码器以及分割解码器；
...【技术特征摘要】
1.基于半监督循环生成对抗网络的胃肠道肿瘤分割网络，其特征在于，包括上循环生成支路、中间分割支路和下循环生成支路；
2.根据权利要求1所述的基于半监督循环生成对抗网络的胃肠道肿瘤分割网络，其特征在于，将特征空间中的通道分为对应于背景信息的组别和对应于病变目标信息的组别，给定不成对的图像xh∈ih和xi∈ii，通过共享解码器将不成对图像xh∈ih和xi∈ii映射到特征空间中，ih代表健康图像域，ii代表病变图像域，输入图像中包含背景信息与病变信息两个部分，将相应输入图像的潜在特征表示为：
3.根据权利要求2所述的基于半监督循环生成对抗网络的胃肠道肿瘤分割网络，其特征在于，将输入的病变图像特征从通道维度分离为两部分：一部分送入分割...
【专利技术属性】
技术研发人员：张宇寰，上官宏，张雄，王艳艳，王晋晋，王安红，
申请(专利权)人：太原科技大学，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。