一种基于深度学习的病理图像色彩还原方法及扫描仪技术

本发明专利技术公开了一种基于深度学习的病理图像色彩还原方法及扫描仪，该方法包括，基于双边网格的下采样技术将输入数据和目标数据的分辨率降低；利用分辨率降低后的输入数据、目标数据第一次训练神经网络模型；基于双边网格的上采样技术将分辨率降低后的输入数据和分辨率降低后的目标数据的分辨率提高；将分辨率提高后的输入数据、目标数据第二次训练神经网络模型；来提高神经网络模型的训练速度以及对数字病理扫描仪所采集的病理图像的染色效果。数字病理扫描仪所采集的病理图像的染色效果。数字病理扫描仪所采集的病理图像的染色效果。

【技术实现步骤摘要】
一种基于深度学习的病理图像色彩还原方法及扫描仪


[0001]本申请涉及病理图像处理
，尤其涉及一种基于深度学习的病理图像色彩还原方法和扫描仪。

技术介绍

[0002]病理图像是含有细胞的玻片在扫描仪下拍摄的高分辨率图像。病理图像可以帮助医生对病人做出诊断，通过病理图像，可以观察到肿瘤细胞的具体情况，比如说有无浸润，有无淋巴结转移，分化程度如何，对肿瘤的诊断、预后、分级、分期都是很有帮助。
[0003]一般情况下，数字病理扫描仪所采集的病理图像的颜色为深红色或者浅红色，而真实显微镜下所观察到的病理图像的颜色为红蓝色。因此在相关技术中，如苏木素&伊红中对数字病理扫描仪所采集病理图像的进行图像信号处理，使数字病理扫描仪所采集的病理图像与真实显微镜下所观察到的病理图像颜色一致。但相关技术对数字病理扫描仪所采集的病理图像的染色效果不好，往往容易导致数字病理扫描仪所采集的病理图像与真实显微镜下所观察到的病理图像颜色不一致，以数字数字病理扫描仪所采集的病理图像进行诊断会导致诊断结果错误，耽误病人病情。

技术实现思路

[0004]本申请提供了一种基于深度学习的病理图像色彩还原方法和扫描仪，来提高数字病理扫描仪所采集的病理图像的染色效果。
[0005]第一方面，本申请提供了一种基于深度学习的病理图像色彩还原方法，包括：基于数字病理扫描仪所采集的病理图像确定输入数据；以及基于真实显微镜下所采集的病理图像确定目标数据；基于双边网格的下采样技术将输入数据和目标数据的分辨率降低；构建神经网络模型，将分辨率降低后的输入数据作为训练数据、分辨率降低后的目标数据作为监督数据第一次训练神经网络模型；监督数据为训练过程中输入数据经过训练所要达到的结果；神经网络模型包括：中间光照层、位于中间光照层之前的多个卷积核、位于中间光照层之后的多个卷积核，中间光照层的输入是根据中间光照层的至少一个在前卷积核的输出特征得到的，中间光照层的至少一个在后卷积核的输入是根据中间光照层的输出特征得到的；基于双边网格的上采样技术将分辨率降低后的输入数据和分辨率降低后的目标数据的分辨率提高；将分辨率提高后的输入数据作为训练数据，分辨率提高后的目标数据作为监督数据第二次训练神经网络模型；根据训练后的神经网络模型对数字病理扫描仪所采集的病理图像进行染色处理。
[0006]在上述实施例中，通过利用基于双边网格的下采样技术将输入数据和目标数据的分辨率降低，以分辨率降低后的输入数据、分辨率降低后的目标数据来训练神经网络模型，因此因此神经网络模型在低分辨率领域学习到图像到色彩映射函数。然后利用基于双边网格的下采样技术将输入数据和目标数据的分辨率提高，以分辨率提高后的输入数据、分辨率提高后的目标数据来进一步训练神经网络模型，由于神经网络模型已经具有图像到色彩
映射函数，本次神经网络模型的训练速度相比于直接利用高分辨率的输入数据、目标数据的速度更快，效率更高。同时神经网络模型还保留各种分辨率下的图像到色彩映射函数，适用于不同的分辨率的数字病理扫描仪所采集的病理图像。同时，利用目标数据来监督神经网络模型的训练，输入数据具有明确的目的导向，可以得到高度准确的预测和分类结果，提高神经网络模型对数字病理扫描仪所采集的病理图像的染色效果。同时在神经网络模型中增加了中间光照层，在神经网络模型的中间加入多个监督信号，即目标数据，使得神经网络模型的中间层可以学习到更加鲁棒的特征表示，从而将输入数据与目标数据相关联，提高神经网络模型对数字病理扫描仪所采集的病理图像的染色效果。
[0007]结合第一方面的一些实施例，在一些实施例中，神经网络模型还包括：输入层，用于接收训练数据；第一对称卷积层，用于将接收的训练数据进行卷积操作，得到中间数据；第二对称卷积层，用于将中间数据进行卷积操作，并与接收的训练数据相结合，得到预测染色数据；输出层，用于输出预测染色数据。
[0008]在上述实施例中，第一对称卷积层用于提取训练数据的特征，第二对称卷积层用于进一步提取训练数据特征，并保留第一对称卷积层所提取的特征，来提高神经网络模型的特征提取能力，加快神经网络模型的训练速度，同时第一对称卷积层和第二对称卷积层在上下对称的情况下具有相同的参数。这种对称性能够有效地减少神经网络模型的参数数量，从而提高模型的计算效率和泛化性能。
[0009]结合第一方面的一些实施例，第一对称卷积层具体包括：第一卷积层，用于对接收的训练数据进行卷积操作来提取第一特征信息；第一归一化层，用于对第一特征信息进行批量归一化处理；第一激活层，用于对归一化后的第一特征信息进行激活函数处理得到中间数据；第二对称卷积层具体包括：第二卷积层，用于对中间数据进行卷积操作来提取第二特征信息，并将第二特征信息与接收的训练数据相结合；第二归一化层，用于对结合后的第二特征信息进行批量归一化处理；第二激活层，用于对归一化后的第二特征信息进行激活函数处理得到预测染色数据。
[0010]在上述实施例中，第一归一化层和第二归一化层可以加速神经网络模型的训练，提高神经网络模型的泛化能力，第一激活层和第二激活层可以增加神经网络模型的非线性性，使其更适合对数字病理扫描仪所采集的病理图像的染色工作。
[0011]结合第一方面的一些实施例，将分辨率降低后的输入数据作为训练数据、分辨率降低后的目标数据作为监督数据第一次训练神经网络模型，以及将分辨率提高后的输入数据作为训练数据，分辨率提高后的目标数据作为监督数据第二次训练神经网络模型，还包括：利用像素损失函数计算预测染色数据与监督数据的像素差异；利用色彩损失函数计算预测染色数据与监督数据的色彩差异；利用平滑度损失函数计算预测染色数据与监督数据的平滑度差异；当预测染色数据与监督数据的像素差异、预测染色数据与监督数据的色彩差异、预测染色数据与监督数据的平滑度差异均小于预先设置的所对应的阈值时，完成神
经网络模型的训练。
[0012]在上述实施例中，通过构建像素损失函数、色彩损失函数以及平滑度损失函数，可以衡量神经网络模型预测染色数据与监督数据之间的距离和偏差，来改进神经网络模型，使得预测染色数据得到更好的对比度、饱和度、以及清晰度。
[0013]结合第一方面的一些实施例，像素损失函数具体为：式中，n为表示像素总数；y
i
为监督数据中的第i个像素的值，x
i
为训练数据中的第i个像素的值，f(x
i
)为预测染色数据中的第i个像素的值；loss(x,y)为监督数据与预测染色数据的均方误差；色彩损失函数具体为：式中，为预测染色数据中的第i个像素，为监督数据中的第i个像素；为预测染色数据中的第i个像素与监督数据中的第i个像素之间的夹角；平滑度损失函数具体为：式中，S
p
为预测染色数据中的第p个像素，为预测染色数据中的第p个像素在x方向上的梯度，为预测染色数据中的第p个像素在y方向上的梯度，c为空间变化平滑度权重，为预测染色数据中的第p个像素在x方向上的权重，为预测染色数据中的第p个像素在y方向本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于深度学习的病理图像色彩还原方法，其特征在于，包括：基于数字病理扫描仪所采集的病理图像确定输入数据；以及基于真实显微镜下所采集的病理图像确定目标数据；基于双边网格的下采样技术将所述输入数据和所述目标数据的分辨率降低；构建神经网络模型，将分辨率降低后的输入数据作为训练数据、分辨率降低后的目标数据作为监督数据第一次训练神经网络模型；所述监督数据为训练过程中所述输入数据经过训练所要达到的结果；所述神经网络模型包括：中间光照层、位于所述中间光照层之前的多个卷积核、位于所述中间光照层之后的多个卷积核，所述中间光照层的输入是根据中间光照层的至少一个在前卷积核的输出特征得到的，中间光照层的至少一个在后卷积核的输入是根据所述中间光照层的输出特征得到的；基于双边网格的上采样技术将所述分辨率降低后的输入数据和所述分辨率降低后的目标数据的分辨率提高；将分辨率提高后的输入数据作为训练数据，分辨率提高后的目标数据作为监督数据第二次训练所述神经网络模型；根据训练后的神经网络模型对数字病理扫描仪所采集的病理图像进行染色处理。2.根据权利要求1所述的基于深度学习的病理图像色彩还原方法，其特征在于，所述神经网络模型还包括：输入层，用于接收所述训练数据；第一对称卷积层，用于将接收的训练数据进行卷积操作，得到中间数据；第二对称卷积层，用于将所述中间数据进行卷积操作，并与所述接收的训练数据相结合，得到预测染色数据；输出层，用于输出所述预测染色数据。3.根据权利要求2所述的基于深度学习的病理图像色彩还原方法，其特征在于，所述第一对称卷积层具体包括：第一卷积层，用于对所述接收的训练数据进行卷积操作来提取第一特征信息；第一归一化层，用于对所述第一特征信息进行批量归一化处理；第一激活层，用于对归一化后的第一特征信息进行激活函数处理得到所述中间数据；所述第二对称卷积层具体包括：第二卷积层，用于对所述中间数据进行卷积操作来提取第二特征信息，并将所述第二特征信息与所述接收的训练数据相结合；第二归一化层，用于对结合后的第二特征信息进行批量归一化处理；第二激活层，用于对归一化后的第二特征信息进行激活函数处理得到所述预测染色数据。4.根据权利要求2或3所述的基于深度学习的病理图像色彩还原方法，其特征在于，所述将分辨率降低后的输入数据作为训练数据、分辨率降低后的目标数据作为监督数据第一次训练神经网络模型，以及所述将分辨率提高后的输入数据作为训练数据，分辨率提高后的目标数据作为监督数据第二次训练神经网络模型，还包括：利用像素损失函数计算所述预测染色数据与所述监督数据的像素差异；
利用色彩损失函数计算所述预测染色数据与所述监督数据的色彩差异；利用平滑度损失函数计算所述预测染色数据与所述监督数据的平滑度差异；当所述预测染色数据与监督数据的像素差异、所述预测染色数据与监督数据的色彩差异、所述预测染色数据与监督数据的平滑度差异均小于预先设置的所对应的阈值时，完成所述神经网络模型的训练。5.根据权利要求4所述的基于深度学习的病理图像色彩还原方法，其特征在于，所述像素损失函数具体为：式中，n为表示像素总数；y
i
为监督数据中的第i个像素的值，x
i
为训练数据中的第i个像素的值，f(x

【专利技术属性】
技术研发人员：王博，龙伟伟，于綦悦，唐玉豪，何俊峰，吴庆军，
申请(专利权)人：达科为深圳医疗设备有限公司，
类型：发明
国别省市：