一种基于卷积神经网络的三维颗粒类别检测方法及系统技术方案

本发明专利技术提出一种基于卷积神经网络的三维颗粒类别检测方法和系统，包括：构建包括混合尺度的三维扩张卷积层、稠密连接和损失函数的三维混合尺度密集卷积神经网络，用已标注颗粒坐标的三维冷冻电子断层图像训练该卷积神经网络，得到颗粒挑选模型，用已标注颗粒类别的三维冷冻电子断层图像训练该卷积神经网络，得到颗粒分类模型；通过滑动窗口采集三维冷冻电子断层图像，得到待检测三维重构的子区域，通过该颗粒挑选模型对每个该子区域进行预测，合并子区域的预测结果得到该三维冷冻电子断层图像中各颗粒的坐标；根据各颗粒的坐标，提取颗粒的三维图像，将每个颗粒的三维图像输入至该颗粒分类模型，得到各颗粒的所属类别。

【技术实现步骤摘要】
一种基于卷积神经网络的三维颗粒类别检测方法及系统
本专利技术属于结构生物学冷冻电子断层成像
，并特别涉及一种基于卷积神经网络的三维颗粒类别检测方法及系统。
技术介绍
冷冻电子断层技术配合子区域平均技术可以获得更高分辨率的生物大分子的原位结构，其中的一个关键步骤是从电子断层重构中挑选大量的三维颗粒，目前挑选三维颗粒的方法分为手工挑选和自动挑选两大类。一些软件包提供了从电子断层三维重构的视图中手工挑选的功能。通常做法是,在垂直于z轴的投影平面上选取颗粒中心点，在该点所在YZ截面和XZ截面中进一步标记颗粒的三维坐标，可以通过对电子断层重构进行滤波、去噪和增强对比度等操作以提高颗粒挑选的准确率。一套电子断层重构图像中存在着成千上万的颗粒，因此手工挑选是费时费力的，并且会受到研究人员主观判断的影响。自动颗粒挑选分为基于模板匹配的方法和不依赖模板的方法，前者更为常见。模版匹配通过计算模版和待匹配局部图像的互相关值，来确定匹配的程度，超过阈值的对象被视为颗粒。模版可以是结构简单的三维体，可以是经过低通滤波的已知结构，也可以是人工挑选以生成的初始模型。为了对模版匹配的结果进一步优化，基于支持向量机的方法被提出。该方法首先利用模版匹配产生候选对象，计算它们的相应特征，再使用SVM对候选对象进行二分类，该方法的特征构造会对结果产生很大影响。不依赖模板的方法有基于高斯差分图像变换的方法，该方法对两个高斯滤波后的图像做减法得到新的密度图，峰值表示潜在的颗粒，该方法的效果很依赖高斯差分变换的缩放因子的大小。近几年，基于深度学习的三维挑颗粒方法得到发展，包括基于2.5维神经网络模型的方法和基于三维神经网络模型的方法。基于2.5维神经网络模型的方法将电子断层重构视为垂直z轴的一系列切片，所有的卷积操作都是在二维进行的。对某张切片的预测过程是，向网络输入当前切片及其相邻的几张切片，输出当前切片的分割结果。该方法没有充分利用z方向上的特征，只考虑了相邻几张切片的关联。基于三维神经网络模型的方法直接对电子断层重构的子区域进行预测，所有操作在三维上进行。该方法的模型参数庞大，往往需要大量的数据和时间进行模型训练。此外，基于深度学习的颗粒分类方法也被提出。通常使用深度学习的三维分类模型对颗粒进行预测，由于网络的输入尺寸是固定的，因此任何大小的待颗粒都需要被缩放到统一尺寸才能输入网络。由于冷冻电子断层重构中存在着成千上万的三维颗粒，要处理如此大数量级的颗粒图像，研究人员也需要花费大量时间去进行人工标注，而标注工作是主观的，每个研究人员的标注结果往往会有差别。模板匹配的方法不能挑选结构未知的生物大分子，也不利于结构变异性高的蛋白质(例如蛋白酶体)的识别，同时高对比度特征的干扰会出现假阳性匹配，此外还需要人为交互来设置相关阈值。基于支持向量机的方法对模版匹配的候选对象进行二分类，忽略了那些没有被模版匹配检测到的颗粒，而且很难构造出具有普适性的特征以很好地应对不同成像条件下的不同种类的生物大分子，此外对每一种类别的生物大分子都需要从头训练一个分类器。基于高斯差分图像变换的方法很依赖高斯差分变换的缩放因子的大小，需要不断尝试不同的参数组合以保证能最大程度地识别各种大小和形状的颗粒，因此处理新的数据时需要对参数进行调整。以上所有这些方法都没有利用高通量冷冻电子断层数据收集的优势。基于深度学习的颗粒挑选方法借助了海量数据的优势，但仍存在不足之处。首先，三维颗粒的结构特征在二维空间上不足以体现，基于2.5维神经网络模型的方法忽略了颗粒在三维空间的特征，因此预测结果不如三维神经网络模型的准确。基于三维神经网络模型的方法，其网络构架往往是从经典的二维卷积神经网络衍生的，例如U-Net。该方法需要训练的模型参数庞大，需要大量的训练数据作为支持，而有限的数据集很容易导致训练出来的网络过拟合于某些特定的特征，该网络的训练数据集的标定工作量是极为庞大的。基于深度学习的颗粒分类方法只能处理固定尺寸的输入图像，需要将不同大小的颗粒图像缩放至统一尺寸，缩小图像必定会损失信息，放大图像必定会引入非真实信息，都会对最终分类的结果产生不好的影响。冷冻电子断层技术凭借其无需纯化的优点，可适用于非晶体、非纯化、纳米尺度级别的、不具有全同特性的蛋白、病毒、细胞器以及复合大分子的三维结构研究。近年来，冷冻电子断层三维重构技术通过配合子区域平均技术，得到了一系列原位生物大分子高分辨率结构，极大地促进了结构生物学的发展。然而电子断层重构存在着低信噪比和各向异性分辨率的问题，因此自动挑选和分类颗粒是十分困难的。
技术实现思路
本专利技术的目的是解决冷冻电子断层重构中挑选和分类三维颗粒缺乏自动化，以及现有基于深度学习方法的模型参数过多的问题。本专利技术设计了一种基于卷积神经网络的自动化三维颗粒检测方法和系统。一方面可以利用卷积神经网络完成自动化的三维颗粒检测流程，针对不同类型的数据无需人工干预。另一方面，该三维多尺度密集卷积神经网络利用三维扩张卷积和稠密连接实现。三维扩张卷积可以获得不同尺度的特征信息，不会引入降采样的信息损失。稠密连接可以提高特征提取传递的能力，并且避免了梯度消失和过拟合的问题。结合二者优势可以大幅减少模型参数个数，提高网络性能，使小数据集的训练成为可能。针对现有技术的不足，本专利技术提出一种基于卷积神经网络的三维颗粒类别检测方法，其中包括：步骤1、构建包括混合尺度的三维扩张卷积层、稠密连接和损失函数的三维混合尺度密集卷积神经网络，用已标注颗粒坐标的三维冷冻电子断层图像训练该卷积神经网络，得到颗粒挑选模型，用已标注颗粒类别的三维冷冻电子断层图像训练该卷积神经网络，得到颗粒分类模型；步骤2、通过滑动窗口采集三维冷冻电子断层图像，得到待检测三维重构的子区域，通过该颗粒挑选模型对每个该子区域进行预测，合并子区域的预测结果得到该三维冷冻电子断层图像中各颗粒的坐标；步骤3、根据各颗粒的坐标，提取颗粒的三维图像，将每个颗粒的三维图像输入至该颗粒分类模型，得到各颗粒的所属类别。所述的基于卷积神经网络的三维颗粒类别检测方法，其中该三维混合尺度密集卷积神经网络包括6层三维扩张卷积层，扩张率∈[1,3]。所述的基于卷积神经网络的三维颗粒类别检测方法，其中该步骤1包括：步骤11、基于下式构建三维扩张卷积层，对于C个通道的输入I，经过扩张率为s的三维扩张卷积输出单一通道特征图O：其中(x,y,z)遍历输入三维冷冻电子断层图像的每个位置，卷积核w包含33×C个训练参数，s为扩张率；步骤12、通过对该三维扩张卷积层添加混合尺度，得到该混合尺度的三维扩张卷积层，该混合尺度的三维扩张卷积层具体包括：三维扩张卷积层中第i层第j通道的扩张率为sij＝(i+j)mod16，Zi-1表示层i-1的输出特征图，对每个输入通道k使用不同的卷积核进行三维扩张卷积，层i通道j输出的特征图其中表示层i的通道j图像的每个像素增加一个恒定偏置,σ为激活函数；步骤13、将该本文档来自技高网...

【技术保护点】
1.一种基于卷积神经网络的三维颗粒类别检测方法，其特征在于，包括：/n步骤1、构建包括混合尺度的三维扩张卷积层、稠密连接和损失函数的三维混合尺度密集卷积神经网络，用已标注颗粒坐标的三维冷冻电子断层图像训练该卷积神经网络，得到颗粒挑选模型，用已标注颗粒类别的三维冷冻电子断层图像训练该卷积神经网络，得到颗粒分类模型；/n步骤2、通过滑动窗口采集三维冷冻电子断层图像，得到待检测三维重构的子区域，通过该颗粒挑选模型对每个该子区域进行预测，合并子区域的预测结果得到该三维冷冻电子断层图像中各颗粒的坐标；/n步骤3、根据各颗粒的坐标，提取颗粒的三维图像，将每个颗粒的三维图像输入至该颗粒分类模型，得到各颗粒的所属类别。/n

【技术特征摘要】
1.一种基于卷积神经网络的三维颗粒类别检测方法，其特征在于，包括：
步骤1、构建包括混合尺度的三维扩张卷积层、稠密连接和损失函数的三维混合尺度密集卷积神经网络，用已标注颗粒坐标的三维冷冻电子断层图像训练该卷积神经网络，得到颗粒挑选模型，用已标注颗粒类别的三维冷冻电子断层图像训练该卷积神经网络，得到颗粒分类模型；
步骤2、通过滑动窗口采集三维冷冻电子断层图像，得到待检测三维重构的子区域，通过该颗粒挑选模型对每个该子区域进行预测，合并子区域的预测结果得到该三维冷冻电子断层图像中各颗粒的坐标；
步骤3、根据各颗粒的坐标，提取颗粒的三维图像，将每个颗粒的三维图像输入至该颗粒分类模型，得到各颗粒的所属类别。


2.如权利要求1所述的基于卷积神经网络的三维颗粒类别检测方法，其特征在于，该三维混合尺度密集卷积神经网络包括6层三维扩张卷积层，扩张率∈[1,3]。


3.如权利要求1所述的基于卷积神经网络的三维颗粒类别检测方法，其特征在于，该步骤1包括：
步骤11、基于下式构建三维扩张卷积层，对于C个通道的输入I，经过扩张率为s的三维扩张卷积输出单一通道特征图O：



其中(x,y,z)遍历输入三维冷冻电子断层图像的每个位置，卷积核w包含33×C个训练参数，s为扩张率；
步骤12、通过对该三维扩张卷积层添加混合尺度，得到该混合尺度的三维扩张卷积层，该混合尺度的三维扩张卷积层具体包括：
三维扩张卷积层中第i层第j通道的扩张率为sij＝(i+j)mod16，Zi-1表示层i-1的输出特征图，对每个输入通道k使用不同的卷积核进行三维扩张卷积，层i通道j输出的特征图






其中表示层i的通道j图像的每个像素增加一个恒定偏置,σ为激活函数；
步骤13、将该混合尺度的三维扩张卷积层的多尺度特征图{X,Z1,…,Zi-1}稠密连接在一起计算层i的通道j的输出特征图






步骤14、所有特征图的所有通道进行线性组合，应用激活函数σ'得到该三维混合尺度密集卷积神经网络最终的输出图像y，输出图像y的k通道：



其中b'k是输出图像y的k通道的恒定偏置，最后一层的激活函数σ'采用了soft-max函数,wijk是在k通道的权重；
步骤15、长宽高分别为mi,ni,pi的三维冷冻电子断层图像Xi(i＝1,2,…,N)及对应的的真实标注Yi，该三维混合尺度密集卷积神经网络的损失函数为负对数似然损失NLL函数:



其中F(·):F(Xi；Θ)j,k,l是一个C维概率向量，表示体素Xij,k,l被预测为各类的概率，Θ＝{(w1,b1),(w2,b2),…,(wn,bn)}表示训练参数，通过最小化F(X)和Y之间的NLL得到该训练参数。


4.如权利要求1所述的基于卷积神经网络的三维颗粒类别检测方法，其特征在于，步骤2中还包括对合并子区域的预测结果中寻找所有的三维连通分量的中心点，作为初始颗粒坐标，将初始颗粒坐标作为种子点，采用均值漂移方法对分割结果进行聚类，每个子类表示一个三维颗粒。

【专利技术属性】
技术研发人员：张法，郝语，万晓华，刘志勇，李锦涛，
申请(专利权)人：中国科学院计算技术研究所，
类型：发明
国别省市：北京;11