一种光流辅助的大尺度显微图像拼接算法制造技术

本发明专利技术公开了一种光流辅助的大尺度显微图像拼接算法，特点是1、通过相机实时采集数码显微镜的图像，在两幅相邻图像之间，引入基于金字塔Lucas‑Kanade算法实现的光流法检测图像之间的位移；2、检测采集到的前后两幅图像上的所有的特征点；3、特征点匹配；4、对特征点对进行优化，剔除误匹配的特征点；5、通过最优单应矩阵和最佳特征点匹配点对，计算得到由相机的内参矩阵、外参矩阵和拉伸因子构成的图像运动参数估计，进而对采集到的图像进行仿射、畸变校正和平移变换，将所有采集到的图像变换成待合成图像；6、将待合成图像融合得到一幅完整的全视野的显微图像；优点在于能够获得视野较大并且分辨率高的图像。

Optical flow assisted large scale microscopic image mosaic algorithm

The invention discloses an image stitching algorithm for optical flow assisted large scale microstructure, the characteristic is 1, through the camera image real-time acquisition of the digital microscope, between two images, the displacement between the optical flow image detection in Pyramid Lucas based on Kanade algorithm; all the features of the 2, collected before and after detection two images; 3, matching the feature points; 4, the feature points of optimized feature eliminates false matching; 5, the optimal homography matrix and optimal feature point matching points, the calculated image motion parameters consisting of reference matrix, camera external parameters matrix and the stretching factor estimation. Then the affine, the captured image distortion correction and image transform, transform all collected into image to be synthesized; 6, the synthesis of image fusion to get a complete The full field microscopic image has the advantage of obtaining images with large field of view and high resolution.

【技术实现步骤摘要】
一种光流辅助的大尺度显微图像拼接算法
本专利技术专利涉及一种在显微镜领域应用到的图像拼接算法，尤其是涉及一种光流辅助的大尺度显微图像拼接算法。
技术介绍
显微图像拼接技术在生命医学领域和工业领域都有着广泛的应用需求，是现代高端数码显微镜必备的核心功能之一。不管是明场显微镜和荧光显微镜中，获得大视野范围并且大分辨率的样本全景照片对于后续的分析和处理都是至关重要的。但是由于视野范围和分辨率在光学领域是成反比例的关系，获得一幅视野大并且分辨率高的图像对于显微镜的光学系统的要求是十分严格的。在数码显微镜领域中，解决该类问题最常用的技术是图像拼接技术。该技术通过对样品的不同区域采集高分辨率的图像并最终融合成为一幅全景图像而构建出一幅完整的大尺度高分辨率的显微图像。但是在采集过程中，往往会出现由于相邻两幅图像的位移过大而导致的图像匹配上的特征点过少，从而导致拼接失败。
技术实现思路
本专利技术所要解决的技术问题是在大尺度图像拼接技术中引进一种光流辅助算法，解决由于位移过大而引起的拼接失败问题。本专利技术解决上述技术问题所采用的技术方案为：一种光流辅助的大尺度显微图像拼接算法，具体包括以下步骤：步骤一：通过相机实时采集数码显微镜的图像，在两幅相邻图像之间，引入基于金字塔Lucas-Kanade算法实现的光流法检测图像之间的位移；步骤二：检测采集到的前后两幅图像上的所有的特征点；步骤三：对步骤二中采集到的前后两幅图像中所有的特征点应用最近邻特征点距离与次近邻特征点距离的比值来进行特征点匹配，比值设为0.4，大于等于0.4认为是匹配上的特征点，小于0.4认为是没有匹配上的特征点，即如果该特征点的最近邻特征点的距离与次近邻特征点距离的比值大于等于0.4，则认为该特征点与最近邻特征点构成特征点对，加入到特征点集中，找到前后两幅图像中相对应的特征点作为特征点对；所述的最近邻特征点是指用不变的特征点描述符进行运算的与样本点具有最短欧几里德距离的特征点；所述的次近邻特征点是指除最近邻点以外具有最短的欧几里德距离的特征点；步骤四：利用随机抽样一致性RANSAC来剔除无效数据，对步骤三中得到的特征点对进行优化，剔除误匹配的特征点，具体步骤包括：1、从匹配的特征点对中随机抽取4个样本数据放入内点集，计算其单应矩阵；2、计算所有特征点对在单应矩阵的作用下的投影误差，将投影误差小于0.98的点对，加入到内点集，并优化单应矩阵；重复步骤2，直到内点集中所有的投影误差小于某个阈值，得到的单应矩阵为最优的单应矩阵通过该单应矩阵匹配上的特征点对为最佳特征点匹配点对；步骤五：通过步骤四得到的最优单应矩阵和最佳特征点匹配点对，计算得到由相机的内参矩阵、外参矩阵和拉伸因子构成的图像运动参数估计，所述的内参矩阵包括描述相机内部属性的焦距和内部距离，所述的外参矩阵包括描述相机外部运动参数的旋转和平移，进而对采集到的图像进行仿射、畸变校正和平移变换，将所有采集到的图像变换成待合成图像；步骤六：将在步骤五中得到的待合成图像，融合得到一幅完整的全视野的显微图像。步骤一的具体方法为：1)通过采样分层的方式建立一系列不同尺度的图像序列，对于前一帧图像I上的一个像素点p＝[px，py]，在后一帧图像I中找到对应的一个像素点q＝[qx，qy]，其中px，py分别为像素点p在x方向和y方向上的坐标，qx，qy分别为像素点q的x方向和y方向上的坐标，首先在前一帧图像I中找到光流特征点，并且假设在这些光流特征点的周围的小窗口内光照条件是恒定的；2)定义d＝[dx，dy]为像素点p的位移，即像素点p的光流，其中dx、dy分别为像素点p在x方向和y方向上的位移大小，首先对于两帧图像I和J的最顶层开始跟踪像素点p，利用最小二乘法然后将计算结果传递到金字塔的下一层，并重新计算光流d，直到两帧图像的平均灰度差小于10时，输出光流d作为像素点p的光流；则后一帧图像I上对应的光流特征点的位置为qx＝px+dx，qy＝py+dy，通过计算每一个像素点的光流得到前后两帧图像之间的平均位移。所述的特征点检测是应用特征检测算子ORB特征描述符检测图像中用于表征整幅图像特性的特征点，这些特征点不会因为光照、旋转、位移而改变其属性。可以利用特征点匹配得到的对应点集计算得到单应矩阵，利用单应矩阵获得相机的内参矩阵和外参矩阵，具体为：将拍摄区域定义为近似平面，对于点集中的每个点对都有如下关系：式中●为矩阵相乘，m＝[m1，m2，1]T，H为3×3的单应矩阵，其中m1，m2为点m在x方向和y方向上的坐标，为点在x方向和y方向上的坐标，，将H改写成9×1的矩阵H’H′＝(H11，H12，H13，H21，H22，H23，H31，H32，H33)T则对于N个匹配点对，N>＝3，共有9个未知数，提供2N个约束条件，使用最小二乘法求解每一个参数得到单应矩阵H’，通过得到的单应矩阵和的位置计算得到相机的内参矩阵和外参矩阵，用于后续的图像拼接。与现有技术相比，本专利技术的优点在于能够获得视野较大并且分辨率高的图像。从图1的显微图像拼接结果对比图中可以看出，左图为图谱商业软件中的拼接结果，拼接之后的图像分辨率为3313×2730，而右图为本专利技术的拼接结果，分辨率为4567×4996，当图谱软件的图像运动超过8％时，拼接失败；而本专利技术的图像运动超过25％时才会出现拼接失败。附图说明图1为本专利技术方法与现有的图谱商业软件实现的显微图像拼接结果对比等比例缩放示意图；图2为本专利技术的光流法检测到的初始化特征点示意图；图3为本专利技术的光流法检测到的图像位移运动示意图；图4为本专利技术的光流法检测到的图像位移运动超过可拼接位移极限时，给出反馈信息的示意图；图5为本专利技术方法的算法结构示意图。具体实施方式以下结合附图实施例对本专利技术作进一步详细描述。实施例：一种光流辅助的大尺度显微图像拼接算法，算法结构如图5所示，具体包括以下步骤：步骤一：采用宁波永新光学生产的NLCD-307显微镜，使用40倍的物镜采集图像，相机采用图谱UCMOS05100KPA相机，通过相机实时采集数码显微镜的图像，采图分辨率设为2592×1944，如图3所示，在图像拼接采集模式下，在初始化阶段将相机采集到的第一帧图像作为初始图像，计算当前视频流的图像与初始图像之间的光流，在两幅相邻图像之间，引入基于金字塔Lucas-Kanade算法实现的光流法检测图像之间的位移，具体方法为：1)通过采样分层的方式建立一系列不同尺度的图像序列，对于前一帧图像I上的一个像素点p＝[px，py]，在后一帧图像J中找到对应的一个像素点q＝[qx，qy]，其中px，py分别为像素点p在x方向和y方向上的坐标，qx，qy分别为像素点q的x方向和y方向上的坐标，首先在前一帧图像I中找到光流特征点，并且假设在这些光流特征点的周围的小窗口内光照条件是恒定的；2)定义d＝[dx，dy]为像素点p的位移，即像素点p的光流，其中dx、dy分别为像素点p在x方向和y方向上的位移大小，首先对于两帧图像I和J的最顶层开始跟踪像素点p，利用最小二乘法然后将计算结果传递到金字塔的下一层，并重新计算光流d，直到两帧图像的平均灰度差小于10时，输出光流d作为像素点p的光流；则后一帧图像I上对应的光流特征点的位置为qx＝px+dx，本文档来自技高网...

【技术保护点】
一种光流辅助的大尺度显微图像拼接算法，其特征在于具体包括以下步骤：步骤一：通过相机实时采集数码显微镜的图像，在两幅相邻图像之间，引入基于金字塔Lucas‑Kanade算法实现的光流法检测图像之间的位移；步骤二：检测采集到的前后两幅图像上的所有的特征点；步骤三：对步骤二中采集到的前后两幅图像中所有的特征点应用最近邻特征点距离与次近邻特征点距离的比值来进行特征点匹配，比值设为0.4，大于等于0.4认为是匹配上的特征点，小于0.4认为是没有匹配上的特征点，即如果该特征点的最近邻特征点的距离与次近邻特征点距离的比值大于等于0.4，则认为该特征点与最近邻特征点构成特征点对，加入到特征点集中，找到前后两幅图像中相对应的特征点作为特征点对；所述的最近邻特征点是指用不变的特征点描述符进行运算的与样本点具有最短欧几里德距离的特征点；所述的次近邻特征点是指除最近邻点以外具有最短的欧几里德距离的特征点；步骤四：利用随机抽样一致性RANSAC来剔除无效数据，对步骤三中得到的特征点对进行优化，剔除误匹配的特征点，具体步骤包括：1、从匹配的特征点对中随机抽取4个样本数据放入内点集，计算其单应矩阵；2、计算所有特征点对在单应矩阵的作用下的投影误差，将投影误差小于0.98的点对，加入到内点集，并优化单应矩阵；重复步骤2，直到内点集中所有的投影误差小于某个阈值，得到的单应矩阵为最优的单应矩阵通过该单应矩阵匹配上的特征点对为最佳特征点匹配点对；步骤五：通过步骤四得到的最优单应矩阵和最佳特征点匹配点对，计算得到由相机的内参矩阵、外参矩阵和拉伸因子构成的图像运动参数估计，所述的内参矩阵包括描述相机内部属性的焦距和内部距离，所述的外参矩阵包括描述相机外部运动参数的旋转和平移，进而对采集到的图像进行仿射、畸变校正和平移变换，将所有采集到的图像变换成待合成图像；步骤六：将在步骤五中得到的待合成图像，融合得到一幅完整的全视野的显微图像。...

【技术特征摘要】
1.一种光流辅助的大尺度显微图像拼接算法，其特征在于具体包括以下步骤：步骤一：通过相机实时采集数码显微镜的图像，在两幅相邻图像之间，引入基于金字塔Lucas-Kanade算法实现的光流法检测图像之间的位移；步骤二：检测采集到的前后两幅图像上的所有的特征点；步骤三：对步骤二中采集到的前后两幅图像中所有的特征点应用最近邻特征点距离与次近邻特征点距离的比值来进行特征点匹配，比值设为0.4，大于等于0.4认为是匹配上的特征点，小于0.4认为是没有匹配上的特征点，即如果该特征点的最近邻特征点的距离与次近邻特征点距离的比值大于等于0.4，则认为该特征点与最近邻特征点构成特征点对，加入到特征点集中，找到前后两幅图像中相对应的特征点作为特征点对；所述的最近邻特征点是指用不变的特征点描述符进行运算的与样本点具有最短欧几里德距离的特征点；所述的次近邻特征点是指除最近邻点以外具有最短的欧几里德距离的特征点；步骤四：利用随机抽样一致性RANSAC来剔除无效数据，对步骤三中得到的特征点对进行优化，剔除误匹配的特征点，具体步骤包括：1、从匹配的特征点对中随机抽取4个样本数据放入内点集，计算其单应矩阵；2、计算所有特征点对在单应矩阵的作用下的投影误差，将投影误差小于0.98的点对，加入到内点集，并优化单应矩阵；重复步骤2，直到内点集中所有的投影误差小于某个阈值，得到的单应矩阵为最优的单应矩阵通过该单应矩阵匹配上的特征点对为最佳特征点匹配点对；步骤五：通过步骤四得到的最优单应矩阵和最佳特征点匹配点对，计算得到由相机的内参矩阵、外参矩阵和拉伸因子构成的图像运动参数估计，所述的内参矩阵包括描述相机内部属性的焦距和内部距离，所述的外参矩阵包括描述相机外部运动参数的旋转和平移，进而对采集到的图像进行仿射、畸变校正和平移变换，将所有采集到的图像变换成待合成图像；步骤六：将在步骤五中得到的待合成图像，融合得到一幅完整的全视野的显微图像。2.如权利要求1所述的一种光流辅助的大尺度显微图像拼接算法，其特征在于步骤一的具体方法为：1)通过采样分层的方式...

【专利技术属性】
技术研发人员：郑驰，萨尔瓦多·加西亚·博纳，张克奇，
申请(专利权)人：宁波永新光学股份有限公司，
类型：发明
国别省市：浙江,33