结合计算机视觉特征和影像组学特征的肝癌图像分类方法和装置制造方法及图纸

本发明专利技术公开了一种结合计算机视觉特征和影像组学特征的肝癌图像分类方法和装置。包括如下步骤：1)采集符合标准的病人临床图像，并对收集的图像进行预处理；2)在分割出的肝脏肿瘤区域影像进行计算机视觉特征的提取；3)在分割出的肝脏肿瘤区域影像进行影像组学手工特征的提取；4)结合计算机视觉特征和影像组学特征,先经单变量过滤式筛选，再由LASSO回归筛选；5)利用筛选出的特征与临床特征一起由多元逻辑回归模型建模，利用赤池信息准则向后搜索选择适应最佳模型的临床特征，实现肝癌病理分级的预测。本发明专利技术考虑了更多维度和水平的图像信息，同时保持了影像组学非侵入、安全稳定的优点，有望成为有效的临床肝癌术前评估工具。

A method and device of liver cancer image classification based on computer vision and image histology

【技术实现步骤摘要】
结合计算机视觉特征和影像组学特征的肝癌图像分类方法和装置
本专利技术属于医学图像处理
，尤其涉及一种结合了计算机视觉特征和影像组学特征的非侵入式术前肝癌病理分级方法。
技术介绍
肝癌是世界上肿瘤发病和死亡的重要原因之一，中国更是占了世界新发肝癌病例的50％，危害人类生命健康的同时给家庭和社会造成沉重的经济负担。在对肝癌的治疗中，其分化程度是影响患者的手术预后和肝移植策略选择的重要因素。而病理分级则是一种表述肝癌分化程度的手段。传统上，肝癌的病理学分级可以通过组织活检获得，然而活检获得肿瘤标本进行肿瘤分级的准确性存在争议，并有肿瘤种植转移等风险。亟需一种非侵入式的虚拟的数字活检方法，影像组学有望成为解决手术前评价肝癌分化这一临床难题的有效工具。影像组学(Radiomics)就是将包含有大量的肿瘤病理生理改变信息的数字化的医学图像被转换成可供开发的高维度数据，通过定量的方法对这些信息数据进行分析，实现对肿瘤诊断、疗效和预后等因素的评估，以提高临床的决策能力。已有相关研究显示，通过提取影像组学特征有助于实现肝癌的病理分级。然而影像组学特征多为手工特征，这些特征由浅层的数学公式计算，容易受到噪声和低阶图像特征的影响。为了克服这些限制并进一步解释肿瘤的内在异质性，本专利技术提出了一种利用计算机视觉特征的新策略。包括局部和全局特征在内的计算机视觉特征已在传统图像处理中得到了广泛应用。与手工特征相比，计算机视觉特征具有旋转不变性、对噪声不敏感等优点，有望更好地帮助临床实现肝癌病理分级。专利技术内容本专利技术提出了一种将计算机视觉特征和影像组学特征结合的术前肝癌病理分级方法。其目的是利用传统图像中的计算机视觉特征，结合影像组学中的手工特征，按照影像组学研究流程完成肝癌病理分级模型的设计，构建全新的预测模型，为肝癌的分化程度提供实用的评价方法，帮助推动肝癌患者的精准治疗。本专利技术的具体实施步骤是：步骤(1).获取已确诊肝癌病人的肝癌图像并对影像进行预处理；所述的预处理步骤为：对肝癌图像中的肝脏肿瘤区域进行分割，将分割出来的肝脏肿瘤区域影像的体素重采样到固定空间大小，并将灰度等级归一化，标注对应的病理分级结果作为标签；步骤(2).对步骤(1)中分割出来的肝脏肿瘤区域影像进行计算机视觉特征的提取，所述的计算机视觉特征包括LoG滤波特征、LBP特征、HOG特征和类haar特征；步骤(3).对步骤(1)中分割出来的肝脏肿瘤区域影像进行影像组学特征的提取，所述的影像组学特征包括形态学特征、灰度特征、纹理特征和小波特征；步骤(4).将步骤(2)中提取的计算机视觉特征和步骤(3)中提取的影像组学特征拼接，对拼接后得到的融合特征集合X＝{X1,X2,...,Xn}中的特征进行筛选，其中n表示集合中特征向量的数量，Xi表示融合特征集合中的第i个特征向量，Xi＝{xi1,xi2,...,xim}，xi表示Xi中的第i个元素，m表示Xi中的元素数量；所述筛选包括以下步骤：步骤(4.1).首先通过过滤法排除只有单一值的特征、方差小于预设阈值的特征、与病理分级无关的特征、以及冗余特征；特征与病理分级的关系强度通过互信息计算来衡量，将互信息值低于预设阈值的特征称为与病理分级无关的特征，所述互信息的计算公式为：其中，Xi表示融合特征集合中的第i个特征向量，Y表示标签，p(x,y)是X和Y的联合概率密度函数，p(x)和p(y)分别是X和Y的边缘概率密度函数；所述的冗余特征为相关系数大于0.9的特征，相关系数的计算公式为：其中，ρ为相关系数的计算结果，xik表示融合特征集合中的第i个特征向量中的第k个元素，xjk表示融合特征集合中的第j个特征向量中的第k个元素，和分别表示融合特征集合中的第i和第j个特征向量中的所有元素的均值；步骤(4.2).采用Lasso回归模型中的特征降维，将作用不大的特征参数训练为0，从而获得稀疏解；所述的Lasso回归的代价函数为：其中，m为样本数，n为特征数，x(i)表示第i个样本的所有特征值，y(i)表示第i个样本的标签值，w是长度为n的参数向量，||w1||表示参数向量w的L1范数，b表示常系数，λ为用于控制回归复杂性的参数，以二项式偏差作为选择λ最佳值的准则，通过10折交叉验证方法进行迭代，将二项式偏差最小的λ值用于Lasso回归模型；通过将LASSO选择的特征与它们各自的系数相乘后相加，得到预测分数；步骤(5).获取肝脏肿瘤区域影像的临床特征，将全部临床特征逐一删除后与经过步骤(4)筛选得到的全部特征矩阵进行组合，采用多元logistic回归得到不同组合的肝癌病理学分级分类器；使用赤池信息准则AIC作为判断标准向后搜索最佳的组合方式，综合考虑二项式偏差的影响和选择过程中变量的数量，选择具有最低AIC评分的模型作为最终的肝癌病理学分级分类器，其输入的组合特征矩阵为最佳组合特征矩阵；所述AIC定义为：AIC＝-2ln(L)+2k其中L是在该模型下的最大似然，k是模型的变量个数；步骤(6).获取待进行肝癌病理分级的肝癌图像并按照步骤(1)进行预处理，分割出肝脏肿瘤区域影像，从肝脏肿瘤区域影像中提取与步骤(5)所述最佳组合特征矩阵中特征类别相同的特征作为待分级特征矩阵，将待分级特征矩阵输入步骤(5)得到的肝癌病理学分级分类器中，输出肝癌病理分级结果。进一步的，步骤(2)所述的计算机视觉特征包括：A.LoG特征：将高斯拉普拉斯滤波器应用于输入图像，并为指定的每个sigma值生成导出图像。高斯图像的拉普拉斯变换是通过将图像与高斯核的二阶导数(拉普拉斯算子)卷积而获得的。高斯核可用于平滑图像，定义为：高斯核由拉普拉斯核▽2G(x,y)卷积得到，拉普拉斯核对强度快速变化的区域敏感，实现了边缘增强。高斯核中滤波器的带宽由σ决定，可用于强调更精细(低σ值)或粗糙(高σ值)的纹理。对LoG滤波后的图像进行多精细度的强度及纹理特征提取得到LoG滤波特征。B.LBP特征：原始的LBP算子定义为在3*3的窗口内，以窗口中心像素为阈值，将相邻的8个像素的灰度值与其进行比较，若周围像素值大于等于中心像素值，则该像素点的位置被标记为1，否则为0。这样3*3邻域内的8个点经比较可产生8位二进制数(通常转换为十进制数即LBP码，共256种)，即得到该窗口中心像素点的LBP值，并用这个值来反映该区域的纹理信息。具体LBP的表达式如下：其中，gc是图像的中心像素点的灰度值，gc是图像的相邻像素点的灰度值。sgn(x)是阶跃函数，当x≥0时，sgn(x)＝1；当x<0时，sgn(x)＝0。对得到的LBP图进行强度及纹理特征的提取得到LBP特征。C.HOG特征：HOG是一种主要用于图像处理中目标识别的特征描述符算法，通过计算和统计图像局部区域的梯度方向直方图来合成特征。在执行HOG算法之前，图像被分割成较小的子区域(称为单元)，并且基于单元的像素计算梯度方向直方本文档来自技高网...

【技术保护点】
1.一种结合计算机视觉特征和影像组学特征的肝癌图像分类方法，其特征在于，包括以下步骤：/n步骤(1).获取肝癌图像并进行预处理；所述的预处理步骤为：对肝癌图像中的肝脏肿瘤区域进行分割，将分割出来的肝脏肿瘤区域影像的体素重采样到固定空间大小，并将灰度等级归一化，标注对应的病理分级结果作为标签；/n步骤(2).对步骤(1)中分割出来的肝脏肿瘤区域影像进行计算机视觉特征的提取，所述的计算机视觉特征包括LoG滤波特征、LBP特征、HOG特征和类haar特征；/n步骤(3).对步骤(1)中分割出来的肝脏肿瘤区域影像进行影像组学特征的提取，所述的影像组学特征包括形态学特征、灰度特征、纹理特征和小波特征；/n步骤(4).将步骤(2)中提取的计算机视觉特征和步骤(3)中提取的影像组学特征拼接，对拼接后得到的融合特征集合X＝{X

【技术特征摘要】
1.一种结合计算机视觉特征和影像组学特征的肝癌图像分类方法，其特征在于，包括以下步骤：
步骤(1).获取肝癌图像并进行预处理；所述的预处理步骤为：对肝癌图像中的肝脏肿瘤区域进行分割，将分割出来的肝脏肿瘤区域影像的体素重采样到固定空间大小，并将灰度等级归一化，标注对应的病理分级结果作为标签；
步骤(2).对步骤(1)中分割出来的肝脏肿瘤区域影像进行计算机视觉特征的提取，所述的计算机视觉特征包括LoG滤波特征、LBP特征、HOG特征和类haar特征；
步骤(3).对步骤(1)中分割出来的肝脏肿瘤区域影像进行影像组学特征的提取，所述的影像组学特征包括形态学特征、灰度特征、纹理特征和小波特征；
步骤(4).将步骤(2)中提取的计算机视觉特征和步骤(3)中提取的影像组学特征拼接，对拼接后得到的融合特征集合X＝{X1,X2,...,Xn}中的特征进行筛选，其中n表示集合中特征向量的数量，Xi表示融合特征集合中的第i个特征向量，Xi＝{xi1,xi2,...,xim}，xi表示Xi中的第i个元素，m表示Xi中的元素数量；所述筛选包括以下步骤：
步骤(4.1).首先通过过滤法排除只有单一值的特征、方差小于预设阈值的特征、与病理分级无关的特征、以及冗余特征；
特征与病理分级的关系强度通过互信息计算来衡量，将互信息值低于预设阈值的特征称为与病理分级无关的特征，所述互信息的计算公式为：



其中，Xi表示融合特征集合中的第i个特征向量，Y表示标签，p(x,y)是X和Y的联合概率密度函数，p(x)和p(y)分别是X和Y的边缘概率密度函数；
所述的冗余特征为相关系数大于0.9的特征，相关系数的计算公式为：



其中，ρ为相关系数的计算结果，xik表示融合特征集合中的第i个特征向量中的第k个元素，xjk表示融合特征集合中的第j个特征向量中的第k个元素，和分别表示融合特征集合中的第i和第j个特征向量中的所有元素的均值；
步骤(4.2).采用Lasso回归模型中的特征降维，将作用不大的特征参数训练为0，从而获得稀疏解；所述的Lasso回归的代价函数为：



其中，m为样本数，n为特征数，x(i)表示第i个样本的所有特征值，y(i)表示第i个样本的标签值，w是长度为n的参数向量，||w1||表示参数向量w的L1范数，b表示常系数，λ为用于控制回归复杂性的参数，以二项式偏差作为选择λ最佳值的准则，通过10折交叉验证方法进行迭代，将二项式偏差最小的λ值用于Lasso回归模型；通过将LASSO选择的特征与它们各自的系数相乘后相加，得到预测分数；
步骤(5).获取肝脏肿瘤区域影像的临床特征，将全部临床特征逐一删除后与经过步骤(4)筛选得到的全部特征矩阵进行组合，采用多元logistic回归得到不同组合的肝癌病理学分级分类器；使用赤池信息准则AIC作为判断标准向后搜索最佳的组合方式，综合考虑二项式偏差的影响和选择过程中变量的数量，选择具有最低AIC评分的模型作为最终的肝癌病理学分级分类器，其输入的组合特征矩阵为最佳组合特征矩阵；所述AIC定义为：
AIC＝-2ln(L)+2k
其中L是在该模型下的最大似然，k是模型的变量个数；
步骤(6).获取待进行肝癌病理分级的肝癌图像并按照步骤(1)进行预处理，分割出肝脏肿瘤区域影像，从肝脏肿瘤区域影像中提取与步骤(5)所述最佳组合特征矩阵中特征类别相同的特征作为待分级特征矩阵，将待分级特征矩阵输入步骤(5)得到的肝癌病理学分级分类器中，输出肝癌病理分级结果。


2.如权利要求1所述的结合计算机视觉特征和影像组学特征的肝癌图像分类方法，其特征在于，步骤(2)所述的计算机视觉特征包括：
a.LoG滤波特征：将高斯拉普拉斯滤波器应用于输入图像，并为指定的每个sigma值生成导出图像，对LoG滤波后的图像进行多精细度的强度及纹理特征提取得到LoG滤波特征；
b.LBP特征：将LBP算子对应用于肝脏肿瘤区域影像得到的LBP图，对其进行强度及纹理特征的提取得到LBP特征；
c.HOG特征：执行HOG算法之前，图像被分割成较小的子区域，并且基于单元的像素计算梯度方向直方图，所有单元的直方图被组合后形成特征；
d.类haar特征：将原始图像转换成积分图像后，利用积分图像在不同尺度上快速计算感兴趣区域，在每个像素处定义矩形区域，计算不同类型的haar特征，每个类haar特征描述符包含两个相连的矩形：黑色块和白色块，类haar特征通过以下公式计算：



其中，B代表黑色矩形，黑色矩形像素值为B_P；W代表白色矩形，白色矩形像素值为W_P。


3.如权利要求1所述的结合计算机视觉特征和影像组学特征的肝癌图像分类方法，其特征在于，步骤(3)所述的形态学特征包括：
网格表面积A：其中Oiai和Oibi是网格中第i个三角形的边，由顶点ai、bi和原点O构成，Nf表示网格中三角形的个数；
像素表面积Apixel：其中Ak表示单个像素Ak的表面积，Nv表示像素个数；
周长P：其中ai和bi是外围网格中第i条线的顶点，Pi表示网格圆周中每条线的周长，Nw表示总线数；
周长与表面积之比
圆球度
球形不规则度
主轴长度λmajor表示像素中心的物理坐标执行主成分分析后的最大主成分值；主轴长度特征产生包围感兴趣区域的椭球的最大轴长，并且使用最大主成分λmajor来计算；
短轴长度λminor表示...

【专利技术属性】
技术研发人员：丁勇，阮世健，邵嘉源，戴悦，阮翊婷，
申请(专利权)人：浙江大学，
类型：发明
国别省市：浙江;33