一种基于MaskR-CNN的斑马鱼形态学分类方法技术

本发明专利技术涉及一种基于Mask R

【技术实现步骤摘要】
一种基于Mask R
‑
CNN的斑马鱼形态学分类方法


[0001]本专利技术涉及斑马鱼形态学分类领域，具体涉及一种基于Mask R
‑
CNN的斑马鱼形态学分类方法。

技术介绍

[0002]斑马鱼作为筛选环境有毒物质，人造化学物质和药物的理想模式生物，其胚胎多被用在急性毒性筛选来评估化学物质的生物毒性。传统的方法中，研究人员通过显微镜来观察斑马鱼胚胎的发育情况，通过其毒性终点(死亡、孵化、发育延缓、畸形等形貌)来判断化学物质对胚胎的影响程度。但在现有的斑马鱼形态学评价体系中，因为一个视野中通常同时存在多条运动的鱼，要快速准确观察并记录其形貌特点并做出判断需要耗费大量的时间和人力成本。且在相互独立的研究中进行数据平行比较时，斑马鱼的形态评价基于不同研究人员的主观判断，由于人为先验知识的影响将限制数据深度挖掘的可能性。随着所需测试毒性的化学物质累积及图像数据的爆发性增长，需要有一种能快速高效且能自动化分析斑马鱼胚胎形貌类别的图像检测方法。
[0003]专利CN111583207A公开了一种斑马鱼幼鱼心脏轮廓确定方法，采集多张测试集斑马鱼幼鱼显微图像和训练集斑马鱼幼鱼显微图像；将各训练集斑马鱼幼鱼显微图像进行裁剪处理，得到裁剪处理后的幼鱼区域；对各幼鱼区域进行椭圆拟合，得到斑马鱼幼鱼心脏轮廓的特征点坐标；根据各幼鱼区域和相应的特征点坐标进行卷积神经网络的训练；根据测试集斑马鱼幼鱼显微图像对训练后的网络模型进行优化；将待预测的斑马鱼幼鱼显微图像作为输入输入至优化后的网络模型，得到待预测幼鱼心脏轮廓的特征点坐标；根据待预测幼鱼心脏轮廓的特征点坐标，确定斑马鱼幼鱼心脏轮廓，然而，该专利仅用于在单次单条的条件下预测斑马鱼幼鱼的心脏位置，功能较为局限；该专利在预测斑马鱼心脏位置前需要先手动截取斑马鱼幼鱼的头部部分，耗费人力；该专利通过预测椭圆形上的八个关键点来生成斑马鱼幼鱼的心脏区域，不能精细的拟合各种形态下斑马鱼幼鱼的心脏位置。本专利可以同时预测图片中包含的所有斑马鱼幼鱼的种类和轮廓掩码；本专利可以直接对实验拍摄的图像进行处理，中间过程不再需要人工参与；本专利通过像素级的轮廓掩码来预测斑马鱼幼鱼的整体位置，精细程度高，不需局限于特定形态。

技术实现思路

[0004]本专利技术的目的就是针对斑马鱼形态学评价过程耗时且评价标准不明确的问题，基于现有的深度学习技术，提供一种基于Mask R
‑
CNN的斑马鱼形态学分类方法，实现对斑马鱼形貌图像的批量处理及形态学自动分类。
[0005]本专利技术的目的通过以下技术方案实现：
[0006]一种基于Mask R
‑
CNN的斑马鱼形态学分类方法，包含以下步骤：
[0007]S1、获取斑马鱼幼鱼形貌表型数据，包括含有正常孵化、脊柱弯曲、心包水肿、孵化后坏死、尾部下弯、尾部上翘、卵黄延伸畸形、卵黄囊水肿八类常见形貌类型的斑马鱼幼鱼
图像，建立斑马鱼幼鱼形貌表型的图像数据集；
[0008]S2、将斑马鱼形貌数据集依据7:3的比例划分为训练数据集和测试数据集，使用imgaug对训练集中的斑马鱼形貌图像进行预处理及数据增强，提高模型的鲁棒性；
[0009]S3、搭建Mask
‑
RCNN目标实例分割网络模型，将正常孵化、脊柱弯曲、心包水肿、孵化后坏死、尾部下弯、尾部上翘、卵黄延伸畸形、卵黄囊水肿八图像及标注信息输入网络进行训练。模型使用ResNet
‑
50作为骨干网络，使用RPN和FPN进行多尺度的目标检测和特征融合，通过ROI Align结构利用双线性差值方法提高实例分割精度，将目标检测、实例分割和分类预测分为三个Head同时进行训练，从而实现对图像中斑马鱼的目标实例分割；
[0010]S4、对模型进行整体指标评估；
[0011]S5、使用训练好的模型对斑马鱼幼鱼形貌图像进行计算，得到图像中所有斑马鱼的分类结果、类别置信度、外包围框和分割轮廓。
[0012]进一步地，步骤S1包括：将斑马鱼幼鱼(72～120hpf)置于显微镜下，拍摄并收集包括含有正常孵化、脊柱弯曲、心包水肿、孵化后坏死、尾部下弯、尾部上翘、卵黄延伸畸形、卵黄囊水肿八类常见形貌类型的斑马鱼幼鱼图像。建立斑马鱼幼鱼形貌表型的图像数据集。
[0013]进一步地，步骤S2包括：图像数据集的预处理。使用Labelme开源标注工具对扩增后的图像数据集进行标注，获取斑马鱼幼鱼个体的标签种类和轮廓。对于数据扩增获得的数据则根据标注数据的标签种类和轮廓进行计算获得。
[0014]进一步地，步骤S2包括：图像数据集的扩增。为了提高模型对斑马鱼幼鱼形貌识别的鲁棒性，避免各形貌类别训练数据数量不均衡对模型准确率的影响，使用计算机视觉领域开源软件库imgaug对数据量较少的形貌类别通过图像扭曲算法进行数据扩增，对所有训练数据通过亮度变换、对比度变换、添加噪声等方式进行数据扩增。对整体数据集依据垂直翻转、水平翻转、旋转、缩放、像素乘法、相邻像素乘法、对比度调节、高斯噪声、高斯模糊、锐化、超像素增强、单通道增强和颜色空间增强共13种图像增强算法按照随机阈值、随机组合的方式进行数据增强。
[0015]进一步地，步骤S2包括：TFRecord文件数据的创建。将上述图像数据集进行分类，其中70％作为训练数据集，30％作为测试数据集，并将其打包成TFRecord格式，便于在TensorFlow中被读取和处理。
[0016]进一步地，步骤S3网络模型基于编码器和解码器结构，编码器部分利用下采样进行特征提取，其结构由骨干网络ResNet
‑
50、RPN和FPN组成，骨干网络用于提取图像信息生成不同尺度的语义特征图，RPN则依据目标在原图中的尺寸比例在不同尺度的语义特征图上对目标进行检测，FPN则将不同尺度语义特征图上目标潜在区域通过1
×
1的卷积进行降维，融合到一张语义特征图上。
[0017]解码器部分分为ROI Align、mask head、class head和bbox head，ROI Align依据双线性插值算法提高经过压缩后的特征图与原图的匹配精度，从而生成更加精确的图像掩码；Mask head则依据经过ROI Align的目标区域特征图预测该目标的图像掩码；而与此同时经过ROI Align的目标区域特征图会被送入全连接层进行解码，在全连接层后接入class head和bbox head，得到该目标区域的分类结果和外包围框坐标。
[0018]进一步地，步骤S3包括：训练基于TensorFlow深度学习框架,使用NVIDIA的图形处理器GeForce RTX 2080Ti进行计算，CUDA10.1库进行加速。
[0019]进一步地，步骤S4包括：对训练后的模型进行评估，得出模型的精度指标，包括分类精度mAP，外包围框交并比和轮廓交并比。
[0020]进一步地，步骤S5包括：将测试集图片输入到训练好的模型中进行预测，读本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于Mask R
‑
CNN的斑马鱼形态学分类方法，其特征在于，包括以下步骤：S1、获取斑马鱼幼鱼形貌表型数据，建立斑马鱼幼鱼形貌表型的图像数据集；S2、将图像数据集划分为训练数据集和测试数据集，使用imgaug对训练数据集中的斑马鱼形貌图像进行预处理及数据增强；S3、搭建Mask
‑
RCNN目标实例分割网络模型，将图像数据集图像及标注信息输入网络进行训练；S4、对模型进行整体指标评估；S5、使用训练好的模型对斑马鱼幼鱼形貌图像进行计算，得到图像中所有斑马鱼的分类结果、类别置信度、外包围框和分割轮廓。2.根据权利要求1所述的一种基于Mask R
‑
CNN的斑马鱼形态学分类方法，其特征在于，步骤S1包括：将斑马鱼幼鱼置于显微镜下，拍摄并收集包括含有正常孵化、脊柱弯曲、心包水肿、孵化后坏死、尾部下弯、尾部上翘、卵黄延伸畸形、卵黄囊水肿八类常见形貌类型的斑马鱼幼鱼图像，建立斑马鱼幼鱼形貌表型的图像数据集。3.根据权利要求1所述的一种基于Mask R
‑
CNN的斑马鱼形态学分类方法，其特征在于，步骤S2包括：图像数据集的预处理使用Labelme开源标注工具对扩增后的图像数据集进行标注，获取斑马鱼幼鱼个体的标签种类和轮廓，对于数据扩增获得的数据则根据标注数据的标签种类和轮廓进行计算获得。4.根据权利要求1所述的一种基于Mask R
‑
CNN的斑马鱼形态学分类方法，其特征在于，步骤S2包括：使用计算机视觉领域开源软件库imgaug对数据量较少的形貌类别通过图像扭曲算法进行数据扩增，对所有训练数据通过亮度变换、对比度变换、添加噪声方式进行数据扩增。5.根据权利要求1所述的一种基于Mask R
‑
CNN的斑马鱼形态学分类方法，其特征在于，步骤S2包括：TFRecord文件数据的创建，将图像数据集依据7:3的比例划分为训练数据集和测试数据集，并将其打包成TFRecord格式。6.根据权利要求1所述的一种基于Ma...

【专利技术属性】
技术研发人员：王楠，董公卿，林思劼，
申请(专利权)人：同济大学，
类型：发明
国别省市：