本公开提供一种信号点识别方法及相关产品。该方法的一具体实施方式通过先基于细胞实例分割模型，对细胞核图像进行实例分割，得到细胞核图像中各个细胞的细胞分割结果；再基于融合特征提取模型，对各通道的荧光信号点图像进行图像特征提取，得到融合特征图；接着，基于各个细胞的细胞分割结果，在融合特征图中提取每个细胞的细胞区域融合特征图；而后，基于细胞区域掩膜特征提取模型，得到每个细胞的掩膜后细胞区域融合特征图；最后，基于信号点识别模型，对每个细胞的掩膜后细胞区域融合特征图进行信号点识别，得到相应细胞在各通道的信号点识别结果。从而可以实现端到端的细胞分割和信号点识别，可基于细胞核图像和多通道荧光信号点图像实现细胞分割和信号点识别，并以较少的模型参数同时完成细胞分割和信号点识别，节省了计算量和加快了算法处理时间。
1、荧光原位杂交(fluorescent in situ hybridization，fish)是一种细胞遗传学技术，可以用来对核酸进行检测和定位。荧光标记的核酸探针只和具有高度相似性的核酸杂合，可用于染色体上基因的定位，或在分子生态学中用来标记不同分类细菌或古菌中的核糖体rna。基于多个荧光标记的fish显微成像能够特异性的对于疾病进行高灵敏度的检测。如肺癌循环染色体异常细胞(circulating genetically abnormal cell，cac)可以通过四通道荧光信号点图像和dapi图像对视野内的细胞进行逐个检测判断。传统人工标注方法费时费力，因此也出现了各种计算机视觉方法自动识别cac细胞。
2、然而，目前的做法是根据dapi图像对细胞进行分割的细胞分割结果，在四个通道信号点图像中对每个细胞进行定位并截取相应细胞在相应通道的信号点图像，再针对截取得到的每个通道的信号点图像进行信号点识别得到相应通道的信号点识别结果，最后再根据每个细胞在各个通道信号点图像中的信号点识别结果确定该细胞是否为cac细胞。在这个过程中重要的部分是得到每个细胞在各个通道信号点图像中的信号点识别结果，目前上述过程分为细胞分割和信号点识别两个阶段，但上述两阶段方法需要定位到四个通道的信号点图像中每个细胞，再按照每个细胞在每个通道的信号点图像单独设置相应的识别模型进行信号点识别，这导致模型参数较多进而所需存储空间较多，以及计算量较大，计算效率较低。
r/>技术实现思路
1、本公开的实施例提出了信号点识别方法、装置、电子设备、存储介质和计算机程序产品。
2、第一方面，本公开的实施例提供了一种信号点识别方法，该方法包括：
3、获取同一视野下拍摄的细胞核图像和各通道的荧光信号点图像；
4、基于细胞实例分割模型，对所述细胞核图像进行实例分割，得到所述细胞核图像中各个细胞的细胞分割结果，细胞分割结果包括细胞图像掩膜和细胞位置信息；
5、基于融合特征提取模型，对各通道的荧光信号点图像进行图像特征提取，得到融合特征图；
6、基于所述细胞核图像中各个细胞的细胞分割结果，在所述融合特征图中提取每个细胞的细胞区域融合特征图；
7、基于细胞区域掩膜特征提取模型，对每个细胞的细胞图像掩膜和细胞区域融合特征图进行特征融合与提取，得到相应细胞的掩膜后细胞区域融合特征图；
8、基于信号点识别模型，对每个细胞的掩膜后细胞区域融合特征图进行信号点识别，得到相应细胞在各通道的信号点识别结果。
9、在一些可选的实施方式中，所述融合特征提取模型包括初级融合特征提取模型和多尺度特征提取模型；以及
10、所述基于融合特征提取模型，对各通道的荧光信号点图像进行图像特征提取，得到融合特征图，包括：
11、基于初级融合特征提取模型，对各通道的荧光信号点图像进行图像特征提取，得到初步融合特征图；
12、基于多尺度特征提取模型，对所述初步融合特征图进行多尺度特征提取，得到所述融合特征图。
13、在一些可选的实施方式中，所述基于初级融合特征提取模型，对各通道的荧光信号点图像进行图像特征提取，得到初步融合特征图，包括：
14、基于多个连续深度可分离卷积层，对各通道的荧光信号点图像依次进行图像特征提取，得到最后一层深度可分离卷积层输出的各通道的通道图像特征，其中，每一层深度可分离卷积层中的卷积核被分为多组，卷积核的组数与各所述荧光信号点图像对应的通道数量相同，每一组卷积核用于对相应通道的荧光信号点图像进行图像特征提取，所述多个连续深度可分离卷积层的卷积核数量随卷积层增加而依次增加；
15、对各通道的通道图像特征的拼接结果进行特征融合，得到所述初步融合特征图。
16、在一些可选的实施方式中，所述对各通道的通道图像特征的拼接结果进行特征融合，得到所述初步融合特征图，包括：
17、对各通道的通道图像特征的拼接结果进行卷积，得到所述初步融合特征图。
18、在一些可选的实施方式中，所述多尺度特征提取模型包括多尺度特征提取网络和特征金字塔网络；以及
19、所述基于多尺度特征提取模型，对所述初步融合特征图进行多尺度特征提取，得到所述融合特征图，包括：
20、基于多尺度特征提取网络，对所述初步融合特征图进行多尺度特征提取，得到多尺度下采样特征图；
21、将所述多尺度下采样特征图按照尺度从小到大的顺序，自顶向下输入特征金字塔网络；
22、将所述特征金字塔网络最底层的输出结果确定为所述融合特征图。
23、在一些可选的实施方式中，所述基于细胞区域掩膜特征提取模型，对每个细胞的细胞图像掩膜和细胞区域融合特征图进行特征融合与提取，得到相应细胞的掩膜后细胞区域融合特征图，包括：
24、基于每个细胞的细胞分割结果，将该细胞的细胞图像掩膜作用于该细胞的细胞区域融合特征图，得到该细胞的初步掩膜后特征图，以及对该细胞的初步掩膜后特征图进行特征融合，得到该细胞的掩膜后细胞区域融合特征图。
25、在一些可选的实施方式中，所述信号点识别结果包括预设特征图尺寸的信号点区域信息图和信号点热图，所述信号点识别模型包括信号点区域信息图提取模型和信号点热图提取模型；以及
26、所述基于信号点识别模型，对每个细胞的掩膜后细胞区域融合特征图进行信号点识别，得到相应细胞在各通道的信号点识别结果，包括：
27、基于所述信号点区域信息图提取模型，对每个细胞的掩膜后细胞区域融合特征图进行信号点区域信息图提取，得到相应细胞在各通道的信号点区域信息图，其中，信号点区域信息图用于将所述预设特征图尺寸下的特征图中每个像素点映射到荧光信号点图像中的图像区域；
28、基于所述信号点热图提取模型，对每个细胞的掩膜后细胞区域融合特征图进行信号点热图提取，得到相应细胞在各通道的信号点热图，其中，信号点热图包括所述预设特征图尺寸下的特征图中每个像素点按照信号点区域信息图映射到荧光信号点图像中的图像区域后为信号点区域的概率；
29、基于每个细胞在各通道的信号点区域信息图和信号点热图，确定相应细胞在各通道的信号点识别结果。
30、在一些可选的实施方式中，所述信号点热图提取模型包括依次连接的第一图像特征提取网络、第二图像特征提取网络、卷积层和激活函数层。
31、在一些可选的实施方式中，所述第一图像特征提取网络和所述第二图像特征提取网络分别包括依次连接的卷积层、批量归一化层和激活函数层。
32、在一些可选的实施方式中，所述信号点区域信息图提取模型包括信号点宽度提取模型、信号点高度提取模型、信号点位置横坐标偏移量提取模型和信号点位置纵坐标偏移量提取模型。
33、在一些可选的实施方式中，所述信号点宽度提取模型包括依次连接的本文档来自技高网...
【技术保护点】
1.一种信号点识别方法，包括：
2.根据权利要求1所述的方法，其中，所述融合特征提取模型包括初级融合特征提取模型和多尺度特征提取模型；以及
3.根据权利要求2所述的方法，其中，所述基于初级融合特征提取模型，对各通道的荧光信号点图像进行图像特征提取，得到初步融合特征图，包括：
4.根据权利要求3所述的方法，其中，所述对各通道的通道图像特征的拼接结果进行特征融合，得到所述初步融合特征图，包括：
5.根据权利要求2所述的方法，其中，所述多尺度特征提取模型包括多尺度特征提取网络和特征金字塔网络；以及
6.根据权利要求1所述的方法，其中，所述基于细胞区域掩膜特征提取模型，对每个细胞的细胞图像掩膜和细胞区域融合特征图进行特征融合与提取，得到相应细胞的掩膜后细胞区域融合特征图，包括：
7.根据权利要求1所述的方法，其中，所述信号点识别结果包括预设特征图尺寸的信号点区域信息图和信号点热图，所述信号点识别模型包括信号点区域信息图提取模型和信号点热图提取模型；以及
8.根据权利要求7所述的方法，其中，所述信号点热图提取模型包括依次连接的第一图像特征提取网络、第二图像特征提取网络、卷积层和激活函数层。
9.根据权利要求8所述的方法，其中，所述第一图像特征提取网络和所述第二图像特征提取网络分别包括依次连接的卷积层、批量归一化层和激活函数层。
10.根据权利要求7所述的方法，其中，所述信号点区域信息图提取模型包括信号点宽度提取模型、信号点高度提取模型、信号点位置横坐标偏移量提取模型和信号点位置纵坐标偏移量提取模型。
11.根据权利要求10所述的方法，其中，所述信号点宽度提取模型包括依次连接的第三图像特征提取网络和卷积层，所述信号点高度提取模型包括依次连接的第四图像特征提取网络和卷积层，所述信号点位置横坐标偏移量提取模型包括依次连接的第五图像特征提取网络和卷积层，所述信号点位置纵坐标偏移量提取模型包括依次连接的第六图像特征提取网络和卷积层。
12.根据权利要求1所述的方法，其中，所述细胞实例分割模型、所述融合特征提取模型、所述细胞区域掩膜特征提取模型和所述信号点识别模型是通过如下训练步骤预先训练得到的：
13.根据权利要求12所述的方法，其中，所述基于与所述样本细胞核图像对应的各通道荧光信号点图像，以及所述样本细胞核图像中每个细胞的标注细胞分割结果和在各通道的标注信号点识别结果，训练得到所述融合特征提取模型、所述细胞区域掩膜特征提取模型和所述信号点识别模型，包括：
14.根据权利要求13所述的方法，其中，所述训练步骤还包括：
15.根据权利要求14所述的方法，其中，所述基于所述样本细胞核图像、所述样本细胞核图像中每个细胞的标注细胞分割结果和在各通道的标注信号点识别结果以及与所述样本细胞核图像对应的各通道荧光信号点图像，训练得到所述细胞实例分割模型、所述融合特征提取模型、所述细胞区域掩膜特征提取模型和所述信号点识别模型，包括：
16.一种信号点识别装置，包括：
17.一种电子设备，包括：
18.一种计算机可读存储介质，其上存储有计算机程序，其中，所述计算机程序被一个或多个处理器执行时实现如权利要求1-15中任一所述的方法。
19.一种计算机程序产品，包括计算机程序/指令，所述计算机程序/指令被处理器执行时实现如权利要求1-15中任一所述的方法。
...
【技术特征摘要】
1.一种信号点识别方法，包括：
2.根据权利要求1所述的方法，其中，所述融合特征提取模型包括初级融合特征提取模型和多尺度特征提取模型；以及
3.根据权利要求2所述的方法，其中，所述基于初级融合特征提取模型，对各通道的荧光信号点图像进行图像特征提取，得到初步融合特征图，包括：
4.根据权利要求3所述的方法，其中，所述对各通道的通道图像特征的拼接结果进行特征融合，得到所述初步融合特征图，包括：
5.根据权利要求2所述的方法，其中，所述多尺度特征提取模型包括多尺度特征提取网络和特征金字塔网络；以及
6.根据权利要求1所述的方法，其中，所述基于细胞区域掩膜特征提取模型，对每个细胞的细胞图像掩膜和细胞区域融合特征图进行特征融合与提取，得到相应细胞的掩膜后细胞区域融合特征图，包括：
7.根据权利要求1所述的方法，其中，所述信号点识别结果包括预设特征图尺寸的信号点区域信息图和信号点热图，所述信号点识别模型包括信号点区域信息图提取模型和信号点热图提取模型；以及
8.根据权利要求7所述的方法，其中，所述信号点热图提取模型包括依次连接的第一图像特征提取网络、第二图像特征提取网络、卷积层和激活函数层。
9.根据权利要求8所述的方法，其中，所述第一图像特征提取网络和所述第二图像特征提取网络分别包括依次连接的卷积层、批量归一化层和激活函数层。
10.根据权利要求7所述的方法，其中，所述信号点区域信息图提取模型包括信号点宽度提取模型、信号点高度提取模型、信号点位置横坐标偏移量提取模型和信号点位置纵坐标偏移量提取模型。
11.根据权利要求10所述的方法，其中，所述信号点宽度提取...
【专利技术属性】
技术研发人员：王华嘉，吕行，邝英兰，
申请(专利权)人：珠海圣美生物诊断技术有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。