一种图像融合方法、系统及设备技术方案

本发明专利技术公开了一种图像融合方法、系统及设备，其中，所述方法包括：获取待融合的多个源图像，并识别所述源图像各自的聚焦区域，以生成标记了聚焦区域的分割图像；识别所述分割图像中发生重合的聚焦子区域，并针对所述聚焦子区域确定最佳聚焦区域图像；从所述分割图像中筛选出基础图像，并根据所述最佳聚焦区域图像和各个所述聚焦区域对应的图像，在所述基础图像的基础上进行图像融合，以生成全聚焦图像。本发明专利技术提供的技术方案，能够减少需要处理的数据量，从而提高图像融合的时效性。

【技术实现步骤摘要】
一种图像融合方法、系统及设备
本专利技术涉及图像处理
，具体涉及一种图像融合方法、系统及设备。
技术介绍
景深是光学系统中保持物体成像清晰时，最远距离和最近距离之间的差值。受到景深小的限制，当物体处于最佳聚焦平面时，会得到较清晰的成像结果。而当物体所处的位置与最佳聚焦平面有偏差，得到的成像结果可能会出现不同程度的模糊。为了从算法层面提高镜头的景深，当前可以采用图像融合算法来提高图像的成像清晰度。其中，一种方式可以对显微图像中的各个图像块进行清晰度评价，并根据评价结果确定模糊种子块，同时利用区域生长技术对模糊区域和清晰区域完成划分，再将多幅显微图像的清晰区域按照融合规则融合。然而这种方法需要将源图像人为地分割成众多小块，然后遍历每个小块做清晰度评价与对比，这个过程的耗时无疑是漫长的。同时小块的大小将直接影响模糊区域和清晰区域的划分精度，如果小块过大，容易造成块效应和不完美边界；如果小块过小，又会极大地增加数据处理的数量。另一种方式认为，显微图像在聚焦位置处的像素清晰度最高，亮度最小，反之，显微图像在非聚焦位置处的清晰度较低，但亮度较高。因此可以对所有源图像中的像素值进行比较，取每个像素位置处的最小像素值作为最佳像素值，依次遍历所有像素后，便得到了融合后的图像。这种方法需要对源图像中的所有像素进行遍历，其计算量无疑是巨大的，难以达到实时融合的效果。可见，现有技术中的图像融合方法，都存在数据计算量较大，时效性较差的缺陷。
技术实现思路
有鉴于此，本专利技术实施方式提供了一种图像融合方法、系统及设备，能够减少需要处理的数据量，从而提高图像融合的时效性。本专利技术一方面提供了一种图像融合方法，所述方法包括：获取待融合的多个源图像，并识别所述源图像各自的聚焦区域，以生成标记了聚焦区域的分割图像；识别所述分割图像中发生重合的聚焦子区域，并针对所述聚焦子区域确定最佳聚焦区域图像；从所述分割图像中筛选出基础图像，并根据所述最佳聚焦区域图像和各个所述聚焦区域对应的图像，在所述基础图像的基础上进行图像融合，以生成全聚焦图像。本专利技术另一方面还提供图像融合系统，所述系统包括：分割图像生成单元，用于获取待融合的多个源图像，并识别所述源图像各自的聚焦区域，以生成标记了聚焦区域的分割图像；最佳聚焦确定单元，用于识别所述分割图像中发生重合的聚焦子区域，并针对所述聚焦子区域确定最佳聚焦区域图像；融合单元，用于从所述分割图像中筛选出基础图像，并根据所述最佳聚焦区域图像和各个所述聚焦区域对应的图像，在所述基础图像的基础上进行图像融合，以生成全聚焦图像。本专利技术另一方面还提供一种图像融合设备，所述图像融合设备包括处理器和存储器，所述存储器用于存储计算机程序，所述计算机程序被所述处理器执行时，实现上述的图像融合方法。本专利技术另一方面还提供一种计算机存储介质，所述计算机存储介质用于存储计算机程序，所述计算机程序被处理器执行时，实现上述的图像融合方法。本申请提供的技术方案，针对待融合的多个源图像，可以分别识别出各个源图像中的聚焦区域，形成标记了聚焦区域的分割图像。该聚焦区域内的图像，可以认为是成像结果比较清晰的图像。而非聚焦区域内的图像，成像结果可以出现不同程度的模糊。部分分割图像中的聚焦区域可能会出现重合的情况，为了得到整张成像结果都清晰的全聚焦图像，首先可以针对重合的聚焦子区域确定最佳聚焦区域图像，这些最佳聚焦区域图像可以被融合至基础图像中。对于基础图像中成像不清晰的部分，可以基于其它分割图像的聚焦区域对应的图像进行融合，从而保证融合后的全聚焦图像中，每个区域都具备较清晰的成像结果。由上可见，本申请提供的技术方案，不需要对源图像中所有的像素点进行逐个分析，也不需要将源图像划分为若干个小块进行分析，从而避免了大量数据的计算过程，极大地提升了图像融合的效率。此外，在基础图像的基础上，结合最佳聚焦区域图像和其它分割图像中聚焦区域的图像，能够保证融合后的全聚焦图像中各个区域的清晰度都较高，从而保障了图像融合的效果。附图说明通过参考附图会更加清楚的理解本专利技术的特征和优点，附图是示意性的而不应理解为对本专利技术进行任何限制，在附图中：图1示出了本专利技术一个实施方式中图像融合方法的步骤示意图；图2示出了本专利技术一个实施方式中图像融合方法的流程示意图；图3示出了本专利技术一个实施方式中语义分割模型的结构示意图；图4(a)示出了本专利技术一个实施方式中训练过程中准确度的曲线示意图；图4(b)示出了本专利技术一个实施方式中训练过程中损失的曲线示意图；图5示出了本专利技术一个实施方式中全聚焦图像的示意图；图6示出了本专利技术一个实施方式中图像融合系统的功能模块示意图；图7示出了本专利技术一个实施方式中图像融合设备的结构示意图。具体实施方式为使本专利技术实施方式的目的、技术方案和优点更加清楚，下面将结合本专利技术实施方式中的附图，对本专利技术实施方式中的技术方案进行清楚、完整地描述，显然，所描述的实施方式是本专利技术一部分实施方式，而不是全部的实施方式。基于本专利技术中的实施方式，本领域技术人员在没有作出创造性劳动前提下所获得的所有其他实施方式，都属于本专利技术保护的范围。请参阅图1和图2，本申请一个实施方式提供的图像融合方法，可以包括以下多个步骤。S1：获取待融合的多个源图像，并识别所述源图像各自的聚焦区域，以生成标记了聚焦区域的分割图像。在本实施方式中，可以采用显微镜快速位移平台，针对被观测样本，从显微镜的最佳聚焦平面以及位于最佳聚焦平面以上和/或以下的多个位置进行采集，从而得到多个待融合的源图像。每个源图像中都至少包括聚焦区域和非聚焦区域。其中，聚焦区域对应的图像可以是成像清晰的图像，而非聚焦区域对应图像都会存在一定程度的模糊。在本实施方式中，对于不同的源图像而言，由于对应的是不同的采集位置，因此包含的聚焦区域也可能不一致。举例来说，在利用显微镜对癌细胞采集病理显微图像时，处于最佳聚焦平面上采集的图像中，聚焦区域可能位于图像的中间；而处于最佳聚焦平面上方采集的图像中，聚焦区域可能位于图像的左侧。可见，尽管是针对相同的被观测样本进行图像采集，由于采集位置的不同，从而可以得到聚焦区域不完全相同的多个源图像。当然，以上利用显微镜对被观测样本进行源图像的采集，只是本申请一个具体应用场景中的采集方式。在实际应用中，还可以采用不同的图像采集装置，对不同的被观测样本进行源图像的采集，本申请对此并不做限定。在本实施方式中，在采集得到多个源图像后，为了便于后续的图像融合，可以分别识别出各个源图像中的聚焦区域。具体地，可以采用语义分割模型(M-SegNet)，对源图像中的聚焦区域进行标记，从而区分出聚焦区域和非聚焦区域。请参阅图3，该语义分割模型可以是基于U-Nets网络的基本架构设计的，其结构包含编码器和解码器两部分。其中，编码器可以对输入的源图像进行特征提取和降维，通过池化层增大感受野，同时图片的维度变小。解码器可以对编码器输出的结果本文档来自技高网...

【技术保护点】
1.一种图像融合方法，其特征在于，所述方法包括：/n获取待融合的多个源图像，并识别所述源图像各自的聚焦区域，以生成标记了聚焦区域的分割图像；/n识别所述分割图像中发生重合的聚焦子区域，并针对所述聚焦子区域确定最佳聚焦区域图像；/n从所述分割图像中筛选出基础图像，并根据所述最佳聚焦区域图像和各个所述聚焦区域对应的图像，在所述基础图像的基础上进行图像融合，以生成全聚焦图像。/n

【技术特征摘要】
1.一种图像融合方法，其特征在于，所述方法包括：
获取待融合的多个源图像，并识别所述源图像各自的聚焦区域，以生成标记了聚焦区域的分割图像；
识别所述分割图像中发生重合的聚焦子区域，并针对所述聚焦子区域确定最佳聚焦区域图像；
从所述分割图像中筛选出基础图像，并根据所述最佳聚焦区域图像和各个所述聚焦区域对应的图像，在所述基础图像的基础上进行图像融合，以生成全聚焦图像。


2.根据权利要求1所述的方法，其特征在于，所述多个源图像分别从最佳聚焦平面以及位于所述最佳聚焦平面以上和/或以下的多个位置进行采集得到，所述源图像中至少包括聚焦区域和非聚焦区域。


3.根据权利要求1所述的方法，其特征在于，识别所述源图像各自的聚焦区域包括：
将所述源图像输入预先训练得到的语义分割模型，以通过所述语义分割模型输出所述标记了聚焦区域的分割图像；
其中，所述语义分割模型中包括编码器和解码器，所述编码器中包括基于深度可分卷积构建的特征提取层，所述编码器用于对输入的所述源图像进行特征提取和降维，所述解码器用于对所述编码器输出的结果进行上采样和特征还原。


4.根据权利要求3所述的方法，其特征在于，所述语义分割模型在训练过程中的训练样本集按照以下方式构建：
从最佳聚焦平面以及位于所述最佳聚焦平面以上和/或以下的多个位置采集基础样本图像；
基于不同模糊核对所述最佳聚焦平面上采集得到的基础样本图像进行局部模糊处理，以生成局部模糊图像；
将从所述多个位置采集得到的所述基础样本图像和生成的所述局部模糊图像，作为所述语义分割模型在训练过程中的训练样本集。


5.根据权利要求1所述的方法，其特征在于，针对所述聚焦子区域确定最佳聚焦区域图像包括：
确定包含所述聚焦子区域的目标分割图像，并在所述目标分割图像中识别所述聚焦子区域的轮廓上包含的边缘点；
判断所述边缘点是否模糊，并统计模糊的边缘点的数量在边缘点的总数量之中的占比；
在占比最小的目标分割图像中，将所述聚焦子区域对应的图像作为所述最佳聚焦区域图像。

...

【专利技术属性】
技术研发人员：付威威，裴融浩，张洋，姚康，张贺童，丁上上，邬丹丹，郑田莉，
申请(专利权)人：中国科学院苏州生物医学工程技术研究所，
类型：发明
国别省市：江苏;32