一种病理图像染色归一化方法及装置制造方法及图纸

本发明专利技术提出了一种病理图像染色归一化方法及装置，涉及病理图像处理技术领域，该病理图像染色归一化方法包括步骤：S1，获取输入的病理图像；S2，对病理图像进行解耦，以获得病理图像的内容编码；S3，对目标域图像进行解耦，以获得目标域图像的风格编码；S4，根据病理图像的内容编码和目标域图像的风格编码，生成与目标域图像染色相同的归一化图像。本申请通过将图像解耦成内容编码和图像编码，融合病理图像的内容编码和目标域图像的风格编码，可在保留输入的病理图像的图像内容的条件下对其风格进行变换。通过将不同颜色风格的切片图像统一处理成同一颜色风格的归一化图像。

【技术实现步骤摘要】
一种病理图像染色归一化方法及装置
本申请涉及病理图像处理
，尤其涉及一种病理图像染色归一化方法及装置。
技术介绍
由于不同厂家的保存液、染色剂和制片过程存在各种差异以及数字化扫描仪不同会直接导致全切片图像的颜色显著变化，从而影响最终识别结果。现有的基于深度学习的染色归一化方法在处理存在多种染色差异的病理图像时往往需要训练多对模型，这不符合实际需求。因为来自不同医疗数据中心的图像往往会存在染色上的差异。
技术实现思路
本申请所要解决的技术问题在于，针对现有技术的上述不足，提出一种病理图像染色归一化方法及装置。该病理图像染色归一化方法包括步骤：S1，获取输入的病理图像；S2，对病理图像进行解耦，以获得病理图像的内容编码；S3，对目标域图像进行解耦，以获得目标域图像的风格编码；S4，根据病理图像的内容编码和目标域图像的风格编码，生成与目标域图像染色相同的归一化图像。进一步地，步骤S2中，通过内容编码器Ec生成病理图像的内容编码；步骤S3中，通过风格编码器Es生成目标域图像的风格编码；步骤S4中，通过生成器G生成归一化图像；其中，内容编码器Ec、风格编码器Es、生成器G通过多个源域图像和多个目标域图像训练获得；该病理图像染色归一化方法还包括步骤：S21，将目标域图像x2输入到内容编码器Ec生成内容编码c2，输入到风格编码器Es，生成风格编码s2；S22，将内容编码c2和风格编码s2输入到生成器G中进行融合以生成新的图像<br>S23，采用反向传播算法训练内容编码器Ec、风格编码器Es、生成器G，使得与x2尽可能相似；x2和之间采用L1损失函数，L1损失函数为：其中，x2～p(x2)为目标域图像x2的分布；S24，将源域图像x1输入到内容编码器Ec生成内容编码c1，并从一个多维正态分布N(0,I)采样一个编码作为风格编码s2’；S25，将内容编码c1和风格编码s2’输入到生成器G中进行融合以生成新的图像x1→2；S26，采用反向传播算法训练内容编码器Ec、生成器G，使得x1→2与x1的结构尽可能相似；x1和x1→2之间的损失采用SSIM损失函数计算；SSIM损失函数计算为：其中，x1～p(x1)为源域图像x1的分布；s2’～q(s2’)为风格编码s2’的先验分布；S为SSIM损失函数。S27，将图像x1→2输入到内容编码器Ec生成内容编码输入到风格编码器Es，生成风格编码S28，采用反向传播算法训练内容编码器Ec、风格编码器Es，使和c1以及和s2’尽可能相似；和c1之间的损失函数为：与s2’之间的损失函数为：S29，将图像x1→2和目标域图像x2分别输入到判别器D中；S210，采用反向传播算法训练生成器G和判别器D，并采用如下GAN损失函数：其中，x1→2～p(x1→2)为图像x1→2的分布，x2～p(x2)为图像x2的分布。进一步地，步骤S3中，目标域图像的风格编码为：目标域模板图像的风格编码或多张目标域图像风格编码的平均值。进一步地，步骤S22具体包括：将风格编码s2输入到生成器G的多层感知器中以生成AdaIN的参数γ、β；采用参数γ、β、生成器G中的残差块中间激活z进行如下运算：其中，μ、σ分别代表通道维度的均值和标准差；通过一个上采样层生成另一方面，该病理图像染色归一化装置包括：获取模块，用于获取输入的病理图像；第一解耦模块，用于对病理图像进行解耦，以获得病理图像的内容编码；第二解耦模块，用于对目标域图像进行解耦，以获得目标域图像的风格编码；生成模块，用于根据病理图像的内容编码和目标域图像的风格编码，生成与目标域图像染色相同的归一化图像。进一步地，第一解耦模块中，通过内容编码器Ec生成病理图像的内容编码；第二解耦模块中，通过风格编码器Es生成目标域图像的风格编码；生成模块中，通过生成器G生成归一化图像；其中，内容编码器Ec、风格编码器Es、生成器G通过多个源域图像和多个目标域图像训练获得；该病理图像染色归一化装置还包括：第一训练模块，用于将目标域图像x2输入到内容编码器Ec生成内容编码c2，输入到风格编码器Es，生成风格编码s2；将内容编码c2和风格编码s2输入到生成器G中进行融合以生成新的图像采用反向传播算法训练内容编码器Ec、风格编码器Es、生成器G，使得与x2尽可能相似；x2和之间采用L1损失函数，L1损失函数为：其中，x2～p(x2)为目标域图像x2的分布；第二训练模块，用于将源域图像x1输入到内容编码器Ec生成内容编码c1，并从一个多维正态分布N(0,I)采样一个编码作为风格编码s2’；将内容编码c1和风格编码s2’输入到生成器G中进行融合以生成新的图像x1→2；采用反向传播算法训练内容编码器Ec、生成器G，使得x1→2与x1的结构尽可能相似；x1和x1→2之间的损失采用SSIM损失函数计算；SSIM损失函数计算为：其中，x1～p(x1)为源域图像x1的分布；s2’～q(s2’)为风格编码s2’的先验分布；S为SSIM损失函数。第三训练模块，用于将图像x1→2输入到内容编码器Ec生成内容编码输入到风格编码器Es，生成风格编码采用反向传播算法训练内容编码器Ec、风格编码器Es，使和c1以及和s2’尽可能相似；和c1之间的损失函数为：与s2’之间的损失函数为：第四训练模块，用于将图像x1→2和目标域图像x2分别输入到判别器D中；采用反向传播算法训练生成器G和判别器D，并采用如下GAN损失函数：其中，x1→2～p(x1→2)为图像x1→2的分布，x2～p(x2)为图像x2的分布。进一步地，目标域图像的风格编码为：目标域模板图像的风格编码或多张目标域图像风格编码的平均值。进一步地，第一训练模块包括：参数生成子模块，用于将风格编码s2输入到生成器G的多层感知器中以生成AdaIN的参数γ、β；运算子模块，用于采用参数γ、β、生成器G中的残差块中间激活z进行如下运算：其中，μ、σ分别代表通道维度的均值和标准差；图像生成子模块，用于通过一个上采样层生成另一方面，本申请还提出了一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，处理器执行所述程序时实现以上任一种病理图像染色归一化方法的步骤。另一方面，本申请还提出了一种计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现以上任一种病理图像染色归一化方法的步骤。在以上方案中，通过将图像解耦成内容编码和图像编码，融合病理图像的内容编码和目标域图像的风格编码，可在保留输入的病理图像的图像内容的条件下对其风格进行变换本文档来自技高网...

【技术保护点】
1.一种病理图像染色归一化方法，其特征在于，该病理图像染色归一化方法包括步骤：/nS1，获取输入的病理图像；/nS2，对病理图像进行解耦，以获得病理图像的内容编码；/nS3，对目标域图像进行解耦，以获得目标域图像的风格编码；/nS4，根据病理图像的内容编码和目标域图像的风格编码，生成与目标域图像染色相同的归一化图像。/n

【技术特征摘要】
1.一种病理图像染色归一化方法，其特征在于，该病理图像染色归一化方法包括步骤：
S1，获取输入的病理图像；
S2，对病理图像进行解耦，以获得病理图像的内容编码；
S3，对目标域图像进行解耦，以获得目标域图像的风格编码；
S4，根据病理图像的内容编码和目标域图像的风格编码，生成与目标域图像染色相同的归一化图像。


2.根据权利要求1所述的病理图像染色归一化方法，其特征在于，步骤S2中，通过内容编码器Ec生成病理图像的内容编码；步骤S3中，通过风格编码器Es生成目标域图像的风格编码；步骤S4中，通过生成器G生成归一化图像；其中，内容编码器Ec、风格编码器Es、生成器G通过多个源域图像和多个目标域图像训练获得；
该病理图像染色归一化方法还包括步骤：
S21，将目标域图像x2输入到内容编码器Ec生成内容编码c2，输入到风格编码器Es，生成风格编码s2；
S22，将内容编码c2和风格编码s2输入到生成器G中进行融合以生成新的图像
S23，采用反向传播算法训练内容编码器Ec、风格编码器Es、生成器G，使得与x2尽可能相似；x2和之间采用L1损失函数，L1损失函数为：



其中，x2～p(x2)为目标域图像x2的分布；
S24，将源域图像x1输入到内容编码器Ec生成内容编码c1，并从一个多维正态分布N(0,I)采样一个编码作为风格编码s2’；
S25，将内容编码c1和风格编码s2’输入到生成器G中进行融合以生成新的图像x1→2；
S26，采用反向传播算法训练内容编码器Ec、生成器G，使得x1→2与x1的结构尽可能相似；x1和x1→2之间的损失采用SSIM损失函数计算；SSIM损失函数计算为：



其中，x1～p(x1)为源域图像x1的分布；s2’～q(s2’)为风格编码s2’的先验分布；S为SSIM损失函数。
S27，将图像x1→2输入到内容编码器Ec生成内容编码输入到风格编码器Es，生成风格编码
S28，采用反向传播算法训练内容编码器Ec、风格编码器Es，使和c1以及和s2’尽可能相似；

和c1之间的损失函数为：




与s2’之间的损失函数为：



S29，将图像x1→2和目标域图像x2分别输入到判别器D中；
S210，采用反向传播算法训练生成器G和判别器D，并采用如下GAN损失函数：



其中，x1→2～p(x1→2)为图像x1→2的分布，x2～p(x2)为图像x2的分布。


3.根据权利要求1所述的病理图像染色归一化方法，其特征在于，步骤S3中，目标域图像的风格编码为：目标域模板图像的风格编码或多张目标域图像风格编码的平均值。


4.根据权利要求2所述的病理图像染色归一化方法，其特征在于，步骤S22具体包括：
将风格编码s2输入到生成器G的多层感知器中以生成AdaIN的参数γ、β；
采用参数γ、β、生成器G中的残差块中间激活z进行如下运算：



其中，μ、σ分别代表通道维度的均值和标准差；
通过一个上采样层生成


5.一种病理图像染色归一化装置，其特征在于，该病理图像染色归一化装置包括：
获取模块，用于获取输入的病理图像；
第一解耦模块，用于对病理图像进行解耦，以获得病理图像的内容...

【专利技术属性】
技术研发人员：梁毅雄，陈佳林，刘剑锋，王慧，
申请(专利权)人：湖南品信生物工程有限公司，
类型：发明
国别省市：湖南;43