一种基于大气散射模型的手术视频实时去雾增强方法技术

本发明专利技术公开了一种基于大气散射模型的手术视频实时去雾增强方法，包括以下步骤：1.获取图像并分解成一帧帧图像处理；2.对RGB三通道求得最小值，得最小值图像，用最小值滤波求得暗通道图像；3.使用导向滤波求得精细暗通道图像，通过精细暗通道图像求得透射率图像；4.选最小值图像排序前n的像素点取平均值，求RGB三通道的均值，加权得到大气光值；5.将透射率图像、大气光值代到大气散射模型得到去雾后的图像；6.使用图像增强的方法处理去雾图像得到清晰的去雾图像；7.追踪前后帧图像像素点的位置，得到对应像素点在前帧的位置，对比透射率值，评估是否使用前帧像素值来替换当前像素值；8.综合第6步及第7步得到最后的结果。

A real-time defog enhancement method of surgical video based on atmospheric scattering model

【技术实现步骤摘要】
一种基于大气散射模型的手术视频实时去雾增强方法
本专利技术涉及视频
，更具体地，涉及一种基于大气散射模型的手术视频实时去雾增强方法。
技术介绍
在雾气弥漫的环境下，由于大气中悬浮颗粒的影响，导致成像设备采集到的图像颜色退化、对比度下降，导致图像的整体品质下降，因此对有雾的图像进行对比度增强、去雾处理具有很好的现实意义。当前对于单幅图像进行去雾处理的算法有很多，例如：Tan提出一种自适应的灰度和彩色图像的去雾算法，Fattal基于物体表面阴影与透射率具有局部统计不相关性假设，提出了一种彩色图像去雾算法。然而，上述方法去雾效果不理想，同时在运行速度上都不太理想，无法达到视频实时去雾处理的效果，而且在医生进行内窥镜手术时还会遇到较浓的雾气情况，这些方法在这种情况下效果很不理想。
技术实现思路
本专利技术为克服上述现有技术中去雾效果不理想，同时无法达到视频实时去雾的处理效果的缺陷，提供一种基于大气散射模型的手术视频实时去雾增强方法。为解决上述技术问题，本专利技术采用的技术方案是：一种基于大气散射模型的手术视频实时去雾增强方法，包括以下步骤：S1：通过腹腔镜实时获取图像，并将获取的图像分解成一帧帧图像；S2：对每一帧图像的RGB三通道分别求得最小值，得到最小值图像，利用最小值滤波算法求得暗通道图像；S3：利用导向滤波对暗通道图像进行处理，得到精细暗通道图像，再将精细暗通道图像代入到大气散射模型，并得到透射率图像；S4：选取步骤S2中的最小值图像中排序前n的像素点取平均值，然后分别求RGB三通道的均值，加权得到初步的大气光值；S5：将步骤S3中的透射率图像、步骤S4中的大气光值代入到大气散射模型，并得到去雾后的图像；S6：使用图像增强的方法处理步骤S5中得到的去雾后的图像，并得到清晰的去雾图像；S7：同时，通过光流法分别追踪步骤S1中本帧图像与前帧图像的像素点的位置，得到本帧图像对应像素点在前帧图像中的位置，所述本帧图像为步骤S2中待处理的图像，所述前帧图像为步骤S1中在本帧图像前一帧的图像；S8：对比本帧图像与前帧图像的透射率值，最后取两者中透射率值较大的图像作为输出图像；S9：将步骤S8中透射率较大的图像与步骤S6得到清晰的去雾图像进行综合；对图像中每一个像素点进行比较，如果步骤S8中得到的输出图像的透射率大于步骤S6中得到清晰的去雾图像的透射率时，则取步骤S8中得到的像素值；反之，则取步骤S6中的清晰的去雾图像的像素点；S10：最后综合组成一个新的图像作为最终输出结果。优选地，在所述步骤S2中，最小值滤波算法主要包括以下步骤：s21：先对原图像的行列进行增加，并用255填充新增区域；s22：选取一个固定的正方形区域；s23：对这个正方形区域的像素值进行排序，选出其中最小的值；s24：将正方形区域的中心像素值用选出的最小值进行替换；s25：对原图像的所有像素点重复步骤s22至步骤s24，由此得到暗通道图像。优选地，所述步骤S3主要包括以下步骤：s31：先是使用原图像作为导向图得到第一张精细的暗通道图像；需要说明的是原图像指的是没有经过任何处理的原始图像，即为步骤S1中获取的图像。s32：接着再使用原图像的灰度图像作为导向图取得第二张精细的暗通道图像；s33：再对第一张精细的暗通道图像与第二张精细的暗通道图像进行加权得到最终的精细暗通道图像，s34：再将精细暗通道图像代入至大气散射模型并得到透射率图像。由此得到的暗通道图像在细节处较为精细，对去雾后的图像边界信息保留较好。优选地，所述步骤S4主要包括以下步骤：s41：先对最小值图像中的所有像素点进行排序；s42：然后选取其中前0.1％的像素值点进行求平均值；s43：接着再对原图像RGB三通道分别求均值，取步骤s42与步骤s43中的平均值进行加权并得到初步的大气光值。优选地，在步骤S5中，将步骤S3中估计的透射率图像、步骤S4中估计的大气光值代入到大气散射模型得到去雾后的图像，其中大气散射模型为：I(x)＝J(x)t(x)+A(1-t(x))其中，I(x)表示原始图像，J(x)表示去雾后的清晰图像，A表示大气光值，t(x)表示折射率图像。优选地，在步骤S6中，由于去雾后的图像颜色较暗，所以使用图像增强的技术进行处理，先将去雾图像像素值归一化，再对归一化的去雾图像进行gamma变换：Iγ(x)＝(I(x))γ,0≤γ≤1然后，选取参数值γ来提高亮度，再进行逆变换回0-255值。优选地，在所述步骤S7中，对于前后两帧图像，比较透射率值，将当前帧透射率值比前一帧透射率值低的像素点用前一帧的去雾图像像素点替换，光流法为金字塔Lucas-Kanade(LK)光流法，其主要包括以下步骤：s71：首先是利用图像金字塔将原图像分解为4层；s72：然后从顶层开始到底层逐层计算光流，前一层计算的光流可以反馈到下层光流的计算中；s73：上一层的光流作为下一层光流计算的一个初始估计；s74：重复估计动作，直到原图像，得到原图像的光流图，根据光流图，比较前后帧图像的透射率图像，对所有的像素点进行比较，如果前一帧图像的透射率比当前帧的高，则给予前帧像素点更高的权重，否则给予较低的权重，然后计算两帧图像的加权平均，融合得到处理后的图像。优选地，在所述步骤s72中，通过最小化每一个点的领域匹配误差和来计算每一个点的光流：∈(d)＝∈(dx,dy)＝∑x,y∈Ω(I0(x,y)-I(x+dx,y+dy))2其中Ω表示像素点的领域，I表示当前帧，I0表示上一帧。优选地，在所述步骤s73中，估计算法为：di-1＝2*di+gi-1其中，di(0≤i≤4)表示第i层的金字塔图像的光流图,d0表示原图像的光流图。与现有技术相比，有益效果是：本专利技术通过对暗通道先验方法中求大气光值、透射率图的优化，去雾效果好，使之达到实时化的目标；同时通过加入参考视频前几帧图像的信息得到更加准确的清晰图像，可以缓解大气物理成像模型在浓雾部分失效的问题。附图说明图1是本专利技术基于大气散射模型的手术视频实时去雾增强方法的流程图。具体实施方式附图仅用于示例性说明，不能理解为对本专利的限制；为了更好说明本实施例，附图某些部件会有省略、放大或缩小，并不代表实际产品的尺寸；对于本领域技术人员来说，附图中某些公知结构及其说明可能省略是可以理解的。附图中描述位置关系仅用于示例性说明，不能理解为对本专利的限制。本专利技术实施例的附图中相同或相似的标号对应相同或相似的部件；在本专利技术的描述中，需要理解的是，若有术语“上”、“下”、“左”、“右”“长”“短”等指示的方位或位置关系为基于附图所示的方位或位置关系，仅是为了便于描述本专利技术和简化描述，而不是指示或暗示所指的装置或元件必须具有特定本文档来自技高网...

【技术保护点】
1.一种基于大气散射模型的手术视频实时去雾增强方法，其特征在于，包括以下步骤：/nS1：通过腹腔镜实时获取图像，并将获取的图像分解成一帧帧图像；/nS2：对每一帧图像的RGB三通道分别求得最小值，得到最小值图像，利用最小值滤波算法求得暗通道图像；/nS3：利用导向滤波对暗通道图像进行处理，得到精细暗通道图像，再将精细暗通道图像代入到大气散射模型，并得到透射率图像；/nS4：选取步骤S2中的最小值图像中排序前n的像素点取平均值，然后分别求RGB三通道的均值，加权得到初步的大气光值；/nS5：将步骤S3中的透射率图像、步骤S4中的大气光值代入到大气散射模型，并得到去雾后的图像；/nS6：使用图像增强的方法处理步骤S5中得到的去雾后的图像，并得到清晰的去雾图像；/nS7：同时，通过光流法分别追踪步骤S1中本帧图像与前帧图像的像素点的位置，得到本帧图像对应像素点在前帧图像中的位置，所述本帧图像为步骤S2中待处理的图像，所述前帧图像为步骤S1中在本帧图像前一帧的图像；/nS8：对比本帧图像与前帧图像的透射率值，最后取两者中透射率值较大的图像作为输出图像；/nS9：将步骤S8中透射率较大的图像与步骤S6得到清晰的去雾图像进行综合；对图像中每一个像素点进行比较，如果步骤S8中得到的输出图像的透射率大于步骤S6中得到清晰的去雾图像的透射率时，则取步骤S8中得到的像素值；反之，则取步骤S6中的清晰的去雾图像的像素点；/nS10：最后综合组成一个新的图像作为最终输出结果。/n...

【技术特征摘要】
1.一种基于大气散射模型的手术视频实时去雾增强方法，其特征在于，包括以下步骤：
S1：通过腹腔镜实时获取图像，并将获取的图像分解成一帧帧图像；
S2：对每一帧图像的RGB三通道分别求得最小值，得到最小值图像，利用最小值滤波算法求得暗通道图像；
S3：利用导向滤波对暗通道图像进行处理，得到精细暗通道图像，再将精细暗通道图像代入到大气散射模型，并得到透射率图像；
S4：选取步骤S2中的最小值图像中排序前n的像素点取平均值，然后分别求RGB三通道的均值，加权得到初步的大气光值；
S5：将步骤S3中的透射率图像、步骤S4中的大气光值代入到大气散射模型，并得到去雾后的图像；
S6：使用图像增强的方法处理步骤S5中得到的去雾后的图像，并得到清晰的去雾图像；
S7：同时，通过光流法分别追踪步骤S1中本帧图像与前帧图像的像素点的位置，得到本帧图像对应像素点在前帧图像中的位置，所述本帧图像为步骤S2中待处理的图像，所述前帧图像为步骤S1中在本帧图像前一帧的图像；
S8：对比本帧图像与前帧图像的透射率值，最后取两者中透射率值较大的图像作为输出图像；
S9：将步骤S8中透射率较大的图像与步骤S6得到清晰的去雾图像进行综合；对图像中每一个像素点进行比较，如果步骤S8中得到的输出图像的透射率大于步骤S6中得到清晰的去雾图像的透射率时，则取步骤S8中得到的像素值；反之，则取步骤S6中的清晰的去雾图像的像素点；
S10：最后综合组成一个新的图像作为最终输出结果。


2.根据权利要求1所述的一种基于大气散射模型的手术视频实时去雾增强方法，其特征在于，在所述步骤S2中，最小值滤波算法主要包括以下步骤：
s21：先对原图像的行列进行增加，并用255填充新增区域；
s22：选取一个固定的正方形区域；
s23：对这个正方形区域的像素值进行排序，选出其中最小的值；
s24：将正方形区域的中心像素值用选出的最小值进行替换；
s25：对原图像的所有像素点重复步骤s22至步骤s24，由此得到暗通道图像。


3.根据权利要求1所述的一种基于大气散射模型的手术视频实时去雾增强方法，其特征在于，所述步骤S3主要包括以下步骤：
s31：先是使用原图像作为导向图得到第一张精细的暗通道图像；
s32：接着再使用原图像的灰度图像作为导向图取得第二张精细的暗通道图像；
s33：再对第一张精细的暗通道图像与第二张精细的暗通道图像进行加权得到最终的精细暗通道图像，
s34：再将精细暗通道图像代入至大气散射模型并得到透射率图像。


4.根据权利要求1所述的一种基于大气散射模型的手术视频实时去雾增强方法，...

【专利技术属性】
技术研发人员：花苏榕，陆遥，廖泉，高俊义，徐沛然，唐瑜韬，姜继钢，陈革，韩显林，吴文铭，赵玉沛，
申请(专利权)人：中国医学科学院北京协和医院，
类型：发明
国别省市：北京;11