一种面向三维形状重建的显微多焦距图像序列处理方法技术

本发明专利技术涉及一种面向三维形状重建的显微多焦距图像序列处理方法，其特征在于：通过显微镜Z轴调焦确定观测物体的上表面位置和下表面位置，调节Z轴焦距，每隔一定的间隔采集一幅图像，获得显微多焦距图像序列；将每一幅图像转换成灰度图像，通过相位相关法检测平均位移；判断整个图像序列是否需要进行图像配准；然后对显微多焦距图像序列做滤波处理；找到图像序列中每一个位置上对应的清晰点，并找到清晰度最大的点，并记录其所在的图像在序列中的序列号，作为高度参考信息，构建三维信息图，利用的中值滤波进行滤波。本发明专利技术的优点在于：解决传统显微多焦距图像序列处理方法在面向三维形状重建会产生位移偏差，噪声过大和空洞过多的问题。

A new method of multi focus image sequence processing for 3D shape reconstruction

The invention relates to a method for 3D shape reconstruction of the micro multi focus image sequence processing method, which is characterized in that: the observation object on surface position and surface position determined by microscope focusing Z axis, Z axis adjustable focal length, at intervals to acquire an image, obtain the micro multi focus image sequence; each the image is converted into gray image, the phase correlation method to detect the average displacement; to determine whether the whole image sequence of image registration; then do the filtering of the micro multi focus image sequence; find the image sequence in each position corresponding to the clear point, and find the maximum definition, and record the image in in the sequence of the serial number, as the height reference information, constructing 3D maps, using median filter for filtering. The invention has the advantages of solving the problems of displacement deviation, too large noise and too much cavity in the process of facing the three dimensional shape reconstruction of the traditional micro focal length image sequence processing method.

【技术实现步骤摘要】
一种面向三维形状重建的显微多焦距图像序列处理方法
本专利技术属于显微图像处理领域，特别涉及一种面向三维形状重建的显微多焦距图像序列处理方法。
技术介绍
物体在显微镜下的三维信息在生命医学领域和工业领域都有着广泛的应用需求，是现代高端数码显微镜必备的核心功能之一。不管是金相显微镜还是生物显微镜，由于显微镜的视场景深都是非常小，同时样本的表面有一定的厚度，这样导致获得一张样本表面的全对焦图像是十分困难的，对于显微镜的光学成像系统的要求十分严格。在数码显微镜领域中，解决该类问题最常用的技术是多焦距图像序列技术。该技术通过对样品的不同对焦平面采集高分辨率的图像并通过匹配技术和对齐技术实现图像序列位置上对齐，可以用于后续的三维形状重建。在显微图像处理领域，三维重建技术是与多焦距显微图像紧密联系在一起的，三维重建是在该图像序列采集的基础上衍生出来的后续处理结果。但是传统的多焦距图像序列处理方法在实现三维形状重建的过程中会产生位移偏差，出现噪声过大和空洞过多的情况。
技术实现思路
本专利技术所要解决的技术问题是针对上述现有技术提供一种面向三维形状重建的显微多焦距图像序列处理方法，该方法能够解决传统显微多焦距图像序列处理方法在面向三维形状重建会产生位移偏差，噪声过大和空洞过多的问题。本专利技术解决上述技术问题所采用的技术方案为：一种面向三维形状重建的显微多焦距图像序列处理方法，其特征在于：包括以下步骤：步骤(1)、首先通过显微镜Z轴调焦确定观测样品的最高点位置和最低点位置，确定好观测样品的最高点位置和最低点位置之后，调节Z轴焦距，将观测物体的最高点或最低点调节到清晰位置，然后按照预定距离间隔旋转显微镜Z轴转轮，并相应的采集观测样品的图像，直到观测样品的最低点或最高点显示清晰，此时获得观测样品的显微多焦距图像序列；步骤(2)、将步骤(1)中获得的显微多焦距图像序列中的所有图像转换成灰度图像，通过相位相关法检测显微多焦距图像序列中的每两幅相邻图像的灰度图像的位移，并计算得到所有显微多焦距图像序列图像之间的平均位移；步骤(3)、通过步骤(2)中获得的所有图像序列间的平均位移，判断整个显微多焦距图像序列是否需要进行图像配准，如果平均位移大于等于0.6～1.0，则需要进行图像配准，图像配准后再转入步骤(4)，反之则不需要，直接转入步骤(4)；步骤(4)、对步骤(3)获得的显微多焦距图像序列使用拉普拉斯滤波器做滤波处理，得到滤波后的显微多焦距图像序列中每幅图像的像素点位置及其对应的清晰度值；对拉普拉斯滤波器滤波后的显微多焦距图像序列中的每幅图像中像素点的清晰度值进行二值化处理，二值化处理的阈值为对应每幅图像中像素点亮度的中值，大于中值的像素点被保留，小于或等于中值的像素点被剔除；步骤(5)、对步骤(4)处理后的显微多焦距图像序列使用金字塔滤波器清除噪声，选择金字塔最顶层的图像中所包含的像素点作为每幅图像的清晰点，记录该清晰点的位置和清晰度；步骤(6)、利用步骤(5)所得到的清晰点，根据显微多焦距图像序列中每一个位置对应的清晰点，并找到清晰度最大的点，并记录清晰度最大的点所在的图像在显微多焦距图像序列中的序列号，将该序列号作为高度参考信息，利用高度参考信息构建观测样品的三维信息图；步骤(7)、利用中值滤波法对步骤(6)构建的观测样品的三维信息图进行滤波，以消除三维信息图中包含的空洞和噪声；将滤波后的三维信息图作为观测样品最终输出的三维信息图。进一步地，步骤(3)中的图像配准通过与相位相关的图像配准算法对显微多焦距图像序列进行图像配准，将需要进行图像配准的图像称为目标图像，将需要进行图像配准的图像相邻的图像称为参考图像，具体通过以下步骤实现：步骤(3-1)、特征点检测，构建特征点检测算子对目标图像和参考图像进行特征点提取，确定目标图像和参考图像中各个特征点所在的位置；步骤(3-2)、特征点匹配，将步骤(3-1)中得到的目标图像的特征点与参考图像中的特征点进行匹配，找到最佳匹配的特征点对；步骤(3-3)、图像几何变换，利用步骤(3-2)中得到的最佳匹配特征点对计算出来的变换矩阵通过线性仿射变换，将所有的目标图像的位置和尺寸变换为与参考图像一致。具体地，步骤(3-1)中使用的特征点检测算子为ORB特征检测算子。具体地，步骤(3-2)中使用的特征点匹配方法采用FLANN匹配算子。与现有技术相比，本专利技术的优点在于：通过获得所有显微多焦距图像序列的平均位移，判断整个显微多焦距图像序列是否需要进行图像配准，使用图像配准，可以消除图像平移和尺度变化；三维信息图会包含空洞和噪声，利用的中值滤波进行滤波，消除空洞和噪声。附图说明图1为本专利技术实施例的总体实现框图；图2为本专利技术实施例的三维信息图构建示意图。具体实施方式以下结合附图实施例对本专利技术作进一步详细描述。本专利技术提供的面向三维形状重建的显微多焦距图像序列处理方法。其总体框图如图1所示，包括以下步骤：步骤(1)、首先通过显微镜Z轴调焦确定观测样品的最高点位置和最低点位置，确定好观测样品的最高点位置和最低点位置之后，调节Z轴焦距，将观测物体的最高点或最低点调节到清晰位置，然后按照预定距离间隔旋转显微镜Z轴转轮，并相应的采集观测样品的图像，直到观测样品的最低点或最高点显示清晰，此时获得观测样品的显微多焦距图像序列；步骤(2)、将步骤(1)中获得的显微多焦距图像序列中的所有图像转换成灰度图像，通过相位相关法检测显微多焦距图像序列中的每两幅相邻图像的灰度图像的位移，并计算得到所有显微多焦距图像序列图像之间的平均位移；步骤(3)、通过步骤(2)中获得的所有图像序列间的平均位移，判断整个显微多焦距图像序列是否需要进行图像配准，如果平均位移大于等于0.6～1.0，则需要进行图像配准，图像配准后再转入步骤(4)，反之则不需要，直接转入步骤(4)；其中，本实施例中，步骤(3)中的图像配准通过与相位相关的图像配准算法对显微多焦距图像序列进行图像配准，将需要进行图像配准的图像称为目标图像，将需要进行图像配准的图像相邻的图像称为参考图像，具体通过以下步骤实现：步骤(3-1)、特征点检测，构建特征点检测算子对目标图像和参考图像进行特征点提取，确定目标图像和参考图像中各个特征点所在的位置；本实施例中，使用的特征点检测算子为ORB特征检测算子。步骤(3-2)、特征点匹配，将步骤(3-1)中得到的目标图像的特征点与参考图像中的特征点进行匹配，找到最佳匹配的特征点对；本实施例中，使用的特征点匹配方法采用FLANN匹配算子。步骤(3-3)、图像几何变换，利用步骤(3-2)中得到的最佳匹配特征点对计算出来的变换矩阵通过线性仿射变换，将所有的目标图像的位置和尺寸变换为与参考图像一致。步骤(4)、对步骤(3)获得的显微多焦距图像序列使用拉普拉斯滤波器做滤波处理，得到滤波后的显微多焦距图像序列中每幅图像的像素点位置及其对应的清晰度值；对拉普拉斯滤波器滤波后的显微多焦距图像序列中的每幅图像中像素点的清晰度值进行二值化处理，二值化处理的阈值为对应每幅图像中像素点亮度的中值，大于中值的像素点被保留，小于或等于中值的像素点被剔除；其中，拉普拉斯滤波器做滤波处理过程可以看做是原始二维图像与拉普拉斯的卷积核进行卷积，在本实施例中，拉普拉斯的卷积核定义为：0-本文档来自技高网...

【技术保护点】
一种面向三维形状重建的显微多焦距图像序列处理方法，其特征在于：包括以下步骤：步骤(1)、首先通过显微镜Z轴调焦确定观测样品的最高点位置和最低点位置，确定好观测样品的最高点位置和最低点位置之后，调节Z轴焦距，将观测物体的最高点或最低点调节到清晰位置，然后按照预定距离间隔旋转显微镜Z轴转轮，并相应的采集观测样品的图像，直到观测样品的最低点或最高点显示清晰，此时获得观测样品的显微多焦距图像序列；步骤(2)、将步骤(1)中获得的显微多焦距图像序列中的所有图像转换成灰度图像，通过相位相关法检测显微多焦距图像序列中的每两幅相邻图像的灰度图像的位移，并计算得到所有显微多焦距图像序列图像之间的平均位移；步骤(3)、通过步骤(2)中获得的所有图像序列间的平均位移，判断整个显微多焦距图像序列是否需要进行图像配准，如果平均位移大于等于0.6～1.0，则需要进行图像配准，图像配准后再转入步骤(4)，反之则不需要，直接转入步骤(4)；步骤(4)、对步骤(3)获得的显微多焦距图像序列使用拉普拉斯滤波器做滤波处理，得到滤波后的显微多焦距图像序列中每幅图像的像素点位置及其对应的清晰度值；对拉普拉斯滤波器滤波后的显微多焦距图像序列中的每幅图像中像素点的清晰度值进行二值化处理，二值化处理的阈值为对应每幅图像中像素点亮度的中值，大于中值的像素点被保留，小于或等于中值的像素点被剔除；步骤(5)、对步骤(4)处理后的显微多焦距图像序列使用金字塔滤波器清除噪声，选择金字塔最顶层的图像中所包含的像素点作为每幅图像的清晰点，记录该清晰点的位置和清晰度；步骤(6)、利用步骤(5)所得到的清晰点，根据显微多焦距图像序列中每一个位置对应的清晰点，并找到清晰度最大的点，并记录清晰度最大的点所在的图像在显微多焦距图像序列中的序列号，将该序列号作为高度参考信息，利用高度参考信息构建观测样品的三维信息图；步骤(7)、利用中值滤波法对步骤(6)构建的观测样品的三维信息图进行滤波，以消除三维信息图中包含的空洞和噪声；将滤波后的三维信息图作为观测样品最终输出的三维信息图。...

【技术特征摘要】
1.一种面向三维形状重建的显微多焦距图像序列处理方法，其特征在于：包括以下步骤：步骤(1)、首先通过显微镜Z轴调焦确定观测样品的最高点位置和最低点位置，确定好观测样品的最高点位置和最低点位置之后，调节Z轴焦距，将观测物体的最高点或最低点调节到清晰位置，然后按照预定距离间隔旋转显微镜Z轴转轮，并相应的采集观测样品的图像，直到观测样品的最低点或最高点显示清晰，此时获得观测样品的显微多焦距图像序列；步骤(2)、将步骤(1)中获得的显微多焦距图像序列中的所有图像转换成灰度图像，通过相位相关法检测显微多焦距图像序列中的每两幅相邻图像的灰度图像的位移，并计算得到所有显微多焦距图像序列图像之间的平均位移；步骤(3)、通过步骤(2)中获得的所有图像序列间的平均位移，判断整个显微多焦距图像序列是否需要进行图像配准，如果平均位移大于等于0.6～1.0，则需要进行图像配准，图像配准后再转入步骤(4)，反之则不需要，直接转入步骤(4)；步骤(4)、对步骤(3)获得的显微多焦距图像序列使用拉普拉斯滤波器做滤波处理，得到滤波后的显微多焦距图像序列中每幅图像的像素点位置及其对应的清晰度值；对拉普拉斯滤波器滤波后的显微多焦距图像序列中的每幅图像中像素点的清晰度值进行二值化处理，二值化处理的阈值为对应每幅图像中像素点亮度的中值，大于中值的像素点被保留，小于或等于中值的像素点被剔除；步骤(5)、对步骤(4)处理后的显微多焦距图像序列使用金字塔滤波器清除噪声，选择金字塔最顶层的图像中所包含的像素点作为每幅图像的清晰点，记录该清晰点的位置和清晰度；步骤(6)、利用步骤...

【专利技术属性】
技术研发人员：郑驰，萨尔瓦多·加西亚·博纳，张克奇，
申请(专利权)人：宁波永新光学股份有限公司，
类型：发明
国别省市：浙江,33