本发明专利技术提出了提供一种显微影像中针尖定位及语义分割方法及装置，能够提高图像分割任务中对于关键前景目标位置的定位准确率。所述方法包括：采集显微影像进行数据标注，由标注图生成显微图像真值图；将真值图中针尖点位置信息转化为针尖位置的高斯信号；构建并训练深度神经网络模型；将待检测显微影像图片输入至深度神经网络模型，提取待分割区域的特征图，将针管特征图解耦成向量，预测针尖的横轴坐标和纵轴坐标的概率，转换成针尖在目的度量单位上坐标。采用本发明专利技术，通过全连接网络预测针尖位置相对于传统关键点热力图方式提高了针尖定位的准确率，并且使用统一的图像分析模型同时输出针管的分割结果和针尖位置，降低了实际应用中的运算耗时。应用中的运算耗时。应用中的运算耗时。
【技术实现步骤摘要】
一种显微影像中针尖定位及语义分割方法及装置
[0001]本专利技术涉及测量显微影像识别、计算机视觉
，具体地指一种显微影像中针尖定位及语义分割方法及装置。
技术介绍
[0002]在医学、电子器件、显微机械等领域的研究中，研究人员通常会在显微镜下观测和操作精密仪器，进而进行相关的实验，其中操作仪器的尖端部分的精准识别和定位往往是影响实验成功率的重要因素。目前，在显微镜下的仪器检测领域，传统的识别方法，例如模板匹配、几何学等方法受到显微镜图像中不清晰因素的干扰较大，导致鲁棒性和精确性较低。在深度学习领域，显微镜下的仪器尖端定位可以被看成关键点检测问题，该领域多用热图回归的方式，把整张热图作为监督信号，会带来较大的量化误差和需要大量的后处理。并且现有深度学习网络仅能分别进行图像分割和关键点识别，尚未存在一个统一的模型能同时进行上述两个应用任务，降低了实际应用中分析和识别速度。
技术实现思路
[0003]本专利技术的目的在于针对传统关键点热力图方式识别针尖位置准确度不高的问题，而提出了一种显微影像中针尖定位及语义分割方法及装置，通过全连接网络预测针尖位置，能够提高图像分割任务中对于关键前景目标位置的定位准确率，并且使用统一的图像分析模型同时输出针管的分割结果和针尖位置，降低了实际应用中的运算耗时。
[0004]为实现上述目的，本专利技术所设计的一种显微影像中针尖定位及语义分割方法，其特殊之处在于，所述方法包括步骤：
[0005]S1采集显微影像，将视频格式的显微影像划分为图像帧，对所述图像帧进行数据标注，由标注图生成显微图像真值图，所述真值图中包括每个待分割区域的语义信息和针尖点位置信息，所述每个待分割区域包括图像背景、针管、卵母细胞、极体；
[0006]S2将所述真值图中针尖点位置信息转化为针尖位置的高斯信号；
[0007]S3构建面向针尖定位及语义分割的深度神经网络模型，用所述真值图和针尖位置的高斯信号训练深度神经网络模型；
[0008]S4将待检测显微影像图片输入至经过训练的深度神经网络模型，提取图像背景、针管、卵母细胞、极体四个待分割区域的特征图，将针管特征图解耦成向量，利用全连接网络预测针尖的横轴坐标和纵轴坐标的概率；
[0009]S5根据所述深度神经网络模型输出的横坐标和纵坐标的概率分别求出针尖的像素坐标，并转换成针尖在目的度量单位上坐标；
[0010]S6根据所述深度神经网络模型输出的分割区域特征图求得每个像素对于的待分割区域的类别。
[0011]优选地，步骤S2中所述针尖位置的高斯信号的计算方法为：
[0012]S21根据标注得到真值图像中针尖点的位置；
[0013]S22在真值图像中针尖点位置处，生成横坐标x方向、纵坐标y方向的高斯信号：
[0014][0015][0016]其中，x
range
为[0...W]的像素点序列，W为显微图像的宽，x
label
为横坐标x方向的真值图，x
′
为生成的服从均值为x
label
、方差为σ的横坐标x方向的高斯信号，y
range
为[0...H]的像素点序列，H为显微图像的高，y
label
为纵坐标y方向的真值图，y
′
为生成的服从均值为y
label
、方差为σ的纵坐标y方向的高斯信号。
[0017]优选地，步骤S3中训练深度神经网络模型的方法包括：
[0018]交叉验证：利用交叉验证方法划分训练集和验证集，使得训练集和验证集服从非独立同分布；
[0019]模型微调：模型训练完成后，将学习率调低，让模型损失进一步降低。
[0020]优选地，步骤S4中提取四个待分割区域的特征图的步骤为：深度神经网络模型对输入图像进行下采样和上采样，得到图像特征F34，将图像特征F34分别进行图像语义分割和关键点检测；
[0021]所述图像语义分割将图像特征F34经过1*1卷积得到四个通道的概率图，四个通道分别对应背景、针管、卵母细胞、极体，每个通道上的像素的值分别是该像素被划分为该通道对于类别的概率，取概率值最大的通道类别作为该图像特征的分类类别；
[0022]所述关键点检测将图像特征F34经过一个1x1卷积得到特征图F36，特征图上每个点的值为该点判断为针尖点的概率，经过SimDR模块对该特征图进行解耦，解耦成x和y两个方向的向量，该向量的概率最大的位置为针尖点的x坐标和y坐标。
[0023]优选地，步骤S4中利用全连接网络预测针尖的横轴坐标和纵轴坐标的概率的步骤为：将针管特征图经过一个全连接网络，将特征图解耦成x方向和y方向的向量，向量中的值为坐标的概率分布；利用分类损失函数计算网络预测的概率分布与真值分布的损失，将损失进行梯度回传到深度学习网络中，指导网络训练。
[0024]优选地，所述分类损失函数包括交叉熵损失函数、KL散度损失函数。
[0025]优选地，步骤S5中根据上述深度神经网络模型输出的横坐标和纵坐标的概率分布，对概率分布求最大值，最大值处为模型推测的针尖点所在位置；并经过后处理得到针尖在目的度量单位上坐标，所述后处理是指像素坐标和目的度量单位上坐标的数学转换。
[0026]本专利技术还提出一种显微影像中针尖定位及语义分割装置，用于实现上述一种显微影像中针尖定位及语义分割方法，其特殊之处在于，所述装置包括训练模块、获取模块、迁移模块和推理模块，其中，
[0027]所述训练模块，用于将训练集输入到步骤S3中的所述面向针尖定位及语义分割的深度神经网络模型中，进行模型训练；
[0028]所述获取模块，用于从图像源中实时获取待检测显微影像图片；
[0029]所述迁移模块，用于将经过训练的面向针尖定位及语义分割的深度神经网络模型迁移到边缘端设备；
[0030]所述推理模块，用于将获取模块得到的待检测显微影像图片输入到边缘端设备中
已训练好的模型进行推理，得到图片最终的针尖位置和待分割区域的类别。
[0031]进一步地，所述迁移模块包括：
[0032]模型打包单元：用于将面向针尖定位及语义分割的深度神经网络模型从操作系统平台打包到边缘设备端平台上；
[0033]模型编译单元：用于将面向针尖定位及语义分割的深度神经网络模型源代码编译成边缘设备端能运行的代码；
[0034]模型运行单元：用于将编译好的模型代码运行在边缘设备端平台上。
[0035]基于上述方法，本专利技术还提出一种计算机可读存储介质，存储有计算机程序，所述计算机程序被处理器执行时实现上述的一种显微影像中针尖定位及语义分割方法。
[0036]本专利技术的有益效果为：本专利技术生成真值图片中针尖位置的横坐标方向和纵坐标方向的高斯信号；通过深度学习网络提取针管特征；利用全连接网络，将针管特征图解耦成x方向和y方向的向量，并预测针尖的横坐标和纵坐标的概率分布；由模型最终输出的横本文档来自技高网...
【技术保护点】
【技术特征摘要】
1.一种显微影像中针尖定位及语义分割方法，其特征在于：所述方法包括如下步骤：S1采集显微影像，将视频格式的显微影像划分为图像帧，对所述图像帧进行数据标注，由标注图生成显微图像真值图，所述真值图中包括每个待分割区域的语义信息和针尖点位置信息，所述每个待分割区域包括图像背景、针管、卵母细胞、极体；S2将所述真值图中针尖点位置信息转化为针尖位置的高斯信号；S3构建面向针尖定位及语义分割的深度神经网络模型，用所述真值图和针尖位置的高斯信号训练深度神经网络模型；S4将待检测显微影像图片输入至经过训练的深度神经网络模型，提取图像背景、针管、卵母细胞、极体四个待分割区域的特征图，将针管特征图解耦成向量，利用全连接网络预测针尖的横轴坐标和纵轴坐标的概率；S5根据所述深度神经网络模型输出的横坐标和纵坐标的概率分别求出针尖的像素坐标，并转换成针尖在目的度量单位上坐标；S6根据所述深度神经网络模型输出的分割区域特征图求得每个像素对于的待分割区域的类别。2.根据权利要求1所述的一种显微影像中针尖定位及语义分割方法，其特征在于：步骤S2中所述针尖位置的高斯信号的计算方法为：S21根据标注得到真值图像中针尖点的位置；S22在真值图像中针尖点位置处，生成横坐标x方向、纵坐标y方向的高斯信号：S22在真值图像中针尖点位置处，生成横坐标x方向、纵坐标y方向的高斯信号：其中，x
range
为[0...W]的像素点序列，W为显微图像的宽，x
label
为横坐标x方向的真值图，x
′
为生成的服从均值为x
label
、方差为σ的横坐标x方向的高斯信号，y
range
为[0...H]的像素点序列，H为显微图像的高，y
label
为纵坐标y方向的真值图，y
′
为生成的服从均值为y
label
、方差为σ的纵坐标y方向的高斯信号。3.根据权利要求1所述的一种显微影像中针尖定位及语义分割方法，其特征在于：步骤S3中训练深度神经网络模型的方法包括：交叉验证：利用交叉验证方法划分训练集和验证集，使得训练集和验证集服从非独立同分布；模型微调：模型训练完成后，将学习率调低，让模型损失进一步降低。4.根据权利要求1所述的一种显微影像中针尖定位及语义分割方法，其特征在于：步骤S4中提取四个待分割区域的特征图的步骤为：深度神经网络模型对输入图像进行下采样和上采样，得到图像特征F34，将图像特征F34分别进行图像语义分割和关键点检测；所述图像语义分割将图像特征F34经过...
【专利技术属性】
技术研发人员：李欣凝，陈薪，钟志成，
申请(专利权)人：陈湘，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。