System.ArgumentOutOfRangeException: 索引和长度必须引用该字符串内的位置。 参数名: length 在 System.String.Substring(Int32 startIndex, Int32 length) 在 zhuanliShow.Bind() 一种连续病理图像免疫组化配准方法技术_技高网
当前位置: 首页 > 专利查询>中山大学专利>正文

一种连续病理图像免疫组化配准方法技术

技术编号:43454353 阅读:1 留言:0更新日期:2024-11-27 12:55
本发明专利技术提出了一种连续病理图像免疫组化配准方法,用于相邻位置两张千兆像素级别组织病理切片的细胞级免疫组化配准对齐。包括四个部分:图像预处理、预对齐、仿射配准网络和非刚性配准网络。仿射配准网络结合了具有多尺度特征的变换器结构,利用自注意和交叉注意机制,实现跨尺度特征的自学习和交互学习。这有助于在超高分辨率下实现精确的结构配准。此外,非刚性配准网络解决了组织切片的形变问题。配准框架的效率和准确性通过ANHIR数据集和临床数据集得到了验证,达到了较高的准确率。

【技术实现步骤摘要】

本专利技术涉及图像配准,更具体地,涉及一种连续病理图像免疫组化配准方法


技术介绍

1、免疫组织化学(immunohistochemistry,ihc)是一种在医学和生物学研究中使用的技术,通过抗体—抗原相互作用可视化特定蛋白质或抗原的存在和分布,帮助病理学家确定异常细胞的组织来源,以便后续的鉴别诊断或明确治疗靶点。

2、在常规诊断中,病理学家经常需要分析切片上特定细胞(具有特殊形态或位于特定位置的细胞)的某些免疫标记的表达,这项工作需要通过多张连续的石蜡切片来完成,每张石蜡切片一般只能染色1-2个标记。病理医生常常需要在不同的切片上寻找特定位置的特定细胞,观察他们的具体表现情况,这项工作是具有挑战性且费时费力的,尤其是对于经验较少和训练不足的医生。

3、比如在霍奇金淋巴瘤的诊断中,疾病通常表现为分散的大细胞分布在炎症背景中,而这些大细胞的免疫表型对诊断非常重要。典型的霍奇金细胞会表达cd15和cd30,但对pax5的表达较弱,通常不表达cd20。由于这些标记物(cd15、cd30、pax5、cd20)分别染色在四个连续的切片上,病理学家需要在切片间准确识别同一大细胞的相同位置,以解读ihc结果并作出诊断。在乳腺病理学中区分浸润性导管癌和原位导管癌的诊断中也存在类似的情况,需要综合解读位于三个连续切片上相同位置的上皮标记物(ck)和肌上皮标记物(p63、ck5/6)。


技术实现思路

1、本专利技术提供一种连续病理图像免疫组化配准方法,解决现有技术中需要在不同的切片上寻找特定位置的特定细胞时费时费力的技术问题。

2、为解决上述技术问题,本专利技术的技术方案如下:

3、本专利技术提供一种连续病理图像免疫组化配准方法,包括以下步骤:

4、获取相邻的两张切片图像,令其中一张为固定图像,另一张为移动图像;

5、对所述固定图像和移动图像进行预处理,分别得到所述固定图像中的第一组织图像和移动图像中的第二组织图像;

6、根据所述第一组织图像和第二组织图像,对所述第二组织图像进行平移和旋转,得到第三组织图像;

7、根据所述第一组织图像和第三组织图像,通过预设的多尺度特征变换器仿射变换网络预测图像仿射变换矩阵;

8、根据所述图像仿射变换矩阵和第三组织图像,得到第四组织图像;

9、根据第一组织图像和第四组织图像,使用基于patch的迭代配准网络预测第四组织图像的形变场;

10、根据所述第四组织图像的形变场和第四组织图像,得到与所述固定图像配准后的第五组织图像。

11、在上述技术手段中,对相邻位置的两证组织病理切片图像进行细胞级的免疫组化配准对齐,通过预处理,将切片图像中的组织区域部分分割出来,后续配准针对分割出来的组织区域;通过平移和旋转对存在显著错位和偏转的图像对进行快速校准,提升后续配准的精准度;通过预设的多尺度特征变换器仿射变换网络对图像进行仿射配准,进一步提升图像相似性;通过迭代配准网络准确地对齐具有局部非线性形变的组织学图像,实现相邻位置的两证组织病理切片图像的细胞级的免疫组化配准对齐。

12、进一步的,对所述固定图像和移动图像进行预处理,包括:

13、将所述固定图像和移动图像转化为灰度图像;

14、分别对所述固定图像的灰度图像和移动图像的灰度图像进行高斯滤波降噪;

15、使用第一u-net网络对降噪后的固定图像的灰度图像和移动图像的灰度图像进行下采样、填充和分割,得到第一组织图像和第二组织图像。

16、进一步的,对所述第二组织图像进行平移,包括:

17、分别计算第一组织图像和第二组织图像的质心;

18、根据所述第一组织图像的质心坐标减去第二组织图像的质心坐标,得到平移向量;

19、利用所述平移向量对所述第二组织图像中进行平移。

20、进一步的,所述质心的计算方式如下:

21、

22、式中,x表示质心的x轴坐标,y表示质心的y轴坐标,pi表示第i个像素点的灰度值,xi表示第i个像素点的x轴坐标,yi表示第i个像素点的y轴坐标,n表示像素点总数。

23、进一步的,对平移后的第二组织图像进行旋转,包括:

24、通过穷举搜索策略搜索旋转矩阵,所述旋转矩阵r(θ)定义为:

25、

26、式中,θ表示旋转弧度;

27、将搜索到的每一个旋转矩阵乘以所述平移后的第二组织图像,得到旋转后的图像:

28、

29、式中,x′i表示第i个像素点旋转后的x轴坐标,yi′表示第i个像素点旋转后的y轴坐标;

30、分别计算每一旋转后的图像的图像强度相似性指数;

31、统计所有旋转矩阵对应的图像强度相似性指数,选择图像强度相似性指数最高的旋转矩阵作为最终的旋转矩阵;

32、利用最终的旋转矩阵乘以所述平移后的第二组织图像,得到第三组织图像。

33、进一步的,所述图像强度相似性指数的计算方式如下:

34、

35、式中,ω表示所有像素点,φ表示形变场,φ(im(i))=r(θ)im(i),im表示平移后的第二组织图像,if表示第一组织图像,if(i)表示第一组织图像第i个像素点的像素值,im(i)表示平移后的第二组织图像第i个像素点的像素值,表示第一组织图像的平均像素值,im表示平移后的第二组织图像的平均像素值。

36、进一步的,通过预设的多尺度特征变换器仿射变换网络预测图像仿射变换矩阵,包括:

37、所述预设的多尺度特征变换器仿射变换网络包括特征金字塔网络和transformer模块;

38、利用所述特征金字塔网络分别对所述第一组织图像和第三组织图像进行特征提取,得到第一特征图和第二特征图;

39、将所述第一特征图和第二特征图展平为一维向量,分成多段并添加位置编码后输入至所述transformer模块,得到所述图像仿射变换矩阵。

40、进一步的,使用基于patch的迭代配准网络预测第四组织图像的形变场,包括:

41、将所述第一组织图像和第四组织图像进行可重叠的分块处理,分别得到第一组织图像的小图像块和第四组织图像的小图像块;

42、将所述第一组织图像的小图像块和第四组织图像的小图像块对应形成成对的小图像块对;

43、将所述小图像块对输入至第二u-net网络,预测小图像块的形变场;

44、将所有小图像块的形变场拼接后,得到所述第四组织图像的形变场。

45、进一步的,所述将所述第一组织图像和第四组织图像进行可重叠的分块处理,其中重叠部分的长度和宽度等于小图像块的长度和宽度的一半。

46、进一步的,将所有小图像块的形变场拼接后,还包括以下迭代步骤:

47、每一次迭代时,使用上一轮迭代输出的拼接后的形变场作用后的本文档来自技高网...

【技术保护点】

1.一种连续病理图像免疫组化配准方法,其特征在于,包括以下步骤:

2.根据权利要求1所述的连续病理图像免疫组化配准方法,其特征在于,对所述固定图像和移动图像进行预处理,包括:

3.根据权利要求1所述的连续病理图像免疫组化配准方法,其特征在于,对所述第二组织图像进行平移,包括:

4.根据权利要求3所述的连续病理图像免疫组化配准方法,其特征在于,所述质心的计算方式如下:

5.根据权利要求3所述的连续病理图像免疫组化配准方法,其特征在于,对平移后的第二组织图像进行旋转,包括:

6.根据权利要求5所述的连续病理图像免疫组化配准方法,其特征在于,所述图像强度相似性指数的计算方式如下:

7.根据权利要求1所述的连续病理图像免疫组化配准方法,其特征在于,通过预设的多尺度特征变换器仿射变换网络预测图像仿射变换矩阵,包括:

8.根据权利要求1所述的连续病理图像免疫组化配准方法,其特征在于,使用基于patch的迭代配准网络预测第四组织图像的形变场,包括:

9.根据权利要求6所述的连续病理图像免疫组化配准方法,其特征在于,所述将所述第一组织图像和第四组织图像进行可重叠的分块处理,其中重叠部分的长度和宽度等于小图像块的长度和宽度的一半。

10.根据权利要求6所述的连续病理图像免疫组化配准方法,其特征在于,将所有小图像块的形变场拼接后,还包括以下迭代步骤:

...

【技术特征摘要】

1.一种连续病理图像免疫组化配准方法,其特征在于,包括以下步骤:

2.根据权利要求1所述的连续病理图像免疫组化配准方法,其特征在于,对所述固定图像和移动图像进行预处理,包括:

3.根据权利要求1所述的连续病理图像免疫组化配准方法,其特征在于,对所述第二组织图像进行平移,包括:

4.根据权利要求3所述的连续病理图像免疫组化配准方法,其特征在于,所述质心的计算方式如下:

5.根据权利要求3所述的连续病理图像免疫组化配准方法,其特征在于,对平移后的第二组织图像进行旋转,包括:

6.根据权利要求5所述的连续病理图像免疫组化配准方法,其特征在于,所述图像强度相似性指数的计...

【专利技术属性】
技术研发人员:云径平姚正安晏瑞阳幸俊龙姜辰
申请(专利权)人:中山大学
类型:发明
国别省市:

网友询问留言 已有0条评论
  • 还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。

1