基于单分子定位的快速超分辨成像方法及系统技术方案

本发明专利技术公开了一种基于单分子定位的快速超分辨成像方法及系统，该方法包括：设置图像采集参数、硬件调控参数、超分辨图像处理和重建参数；根据所述硬件调控参数进行硬件调控；根据所述采集参数进行图像采集，并根据所述采集的图像反馈调控所述硬件；及根据所述超分辨图像处理和重建参数对所述采集的图像进行超分辨图像处理和重建，并根据超分辨图像处理和重建的结果反馈调控所述硬件。本发明专利技术提供的基于光激活单分子定位的超分辨成像方法所用算法精度高，能够用图形处理器GPU并行运算实现的，可以达到更快的图像处理的处理，和重建速度，并且可以自动调控整个成像系统，包括快门、电动台及步进电机，从而实现了快速的超分辨成像。

【技术实现步骤摘要】

本专利技术属于超分辨成像
，特别是涉及一种基于单分子定位的快速超分 辨成像方法及系统。
技术介绍
对基于单分子定位的超分辨成像系统而言，现在业界普遍认为，EMC⑶是系统必备 的探测器。EMCCD的控制主要通过生产商提供的配套软件实现，但存在的主要问题是在硬件调控方面，配套的软件仅考虑了 EMCCD的控制，并没有考虑其他设备的控 制，例如超分辨成像过程中激发光、激活光的切换及光强控制，全内反射荧光(TIRF)成像 所用平移台的控制，快门的控制(用来开关激光)等。所以，基于配套软件的超分辨成像系 统，实验效率低、耗时大、各种设备之间的同步性差，限制了快速超分辨成像的实现。在图像处理方面，配套软件没有提供超分辨图像处理及重建的功能。其次，目前超 分辨图像处理常用的算法主要有高斯拟合法、解线性方程法、质心法，但这些算法的缺点是 不能同时实现高处理速度和高定位精度。另外，目前超分辨图像处理使用的计算技术是基 于CPU的单线程或多线程，导致处理和重建速度慢，很难实现快速超分辨成像。
技术实现思路
本专利技术的目的之一提供图像处理和重建速度快、定位精度高的一种基于单分子定 位的超分辨成像方法和系统。根据本专利技术的一个方面，提供一种基于单分子定位的快速超分辨成像方法，包 括设置图像采集参数、硬件调控参数、超分辨图像处理和重建参数； 根据所述硬件调控参数进行硬件调控；根据所述采集参数进行图像采集，并根据所述采集的图像反馈调控所述硬件；及 根据所述超分辨图像处理和重建参数对所述采集的图像进行超分辨图像处理和重建， 并根据超分辨图像处理和重建的结果反馈调控所述硬件。根据本专利技术的另一个方面，提供一种基于单分子定位的快速超分辨成像系 统，包括参数设置单元，设置图像采集参数、硬件调控参数和超分辨图像处理和重建参数； 硬件调控单元，根据所述硬件调控参数进行硬件调控；图像采集单元，根据所述采集参数进行图像采集，并根据所述采集的图像反馈调控所 述硬件；图形处理单元，根据所述超分辨图像处理和重建参数对所述采集的图像进行超分辨图 像处理和重建，并根据超分辨图像处理和重建的结果反馈调控所述硬件。本专利技术提供的基于单分子定位的超分辨成像方法和系统能实现实时、快速的超分 辨成像。附图说明图1是本专利技术实施例提供的基于单分子定位的快速超分辨成像方法的流程图； 图2是图1所示流程中根据超分辨图像处理和重建参数对采集的图像进行超分辨图像处理和重建的流程图3是本专利技术实施例提供的基于单分子定位的快速超分辨成像系统的结构框图； 图4是图1提供的基于单分子定位的快速超分辨成像方法的具体工作流程图。具体实施例方式如图1所示，本专利技术实施例提供的基于单分子定位的快速超分辨成像方法包括 步骤S101、设置图像采集参数、硬件调控参数、超分辨图像处理和重建参数。其中，设置图像采集参数具体可是设置图像传感器EMCCD的采集参数，例如，曝光时间、采集周期、采 集帧数、图像区域、制冷温度和电子倍增EMGain等。硬件的调控参数，即设置开关信号的周 期、占空比、延迟时间及电机的位置等。超分辨图像处理和重建参数可包括每次处理和重建 的帧数、放大倍数、系统放大率及电子倍增EMGain等。步骤S102、根据硬件调控参数进行硬件调控。硬件的调控会实时反映在图像传感 器EMCCD上面。步骤S103、根据采集参数进行图像采集，并根据采集的图像反馈调控硬件；及 步骤S104、根据超分辨图像处理和重建参数对采集的图像进行超分辨图像处理和重建，并根据超分辨图像处理和重建的结果反馈调控硬件。该步骤将结合图2所示流程进行 详细说明。以上调控硬件包括控制激发光、激活光光强以及激发时间的电机，反馈补偿样品 漂移的平移台等。如图2所示，根据超分辨图像处理和重建参数对采集的图像进行超分辨图像处理 和重建包括步骤S1041、将采集的图像进行卷积去噪；步骤S1042、根据设定超分辨图像处理和重建参数的阈值对去噪后的图像数据进行计 算，根据计算结果标记单分子位置信息；步骤S1043、根据标记的单分子位置信息进行次像素级定位，确定单分子定位信息；次 像素级定位是采用最大似然法进行高精度定位。步骤S1044、叠加渲染单分子定位信息成最终的超分辨结果图。作为本专利技术实施例的一优选方案，步骤S104采集的图像进行超分辨图像处理和 重建之前还包括设置用于将采集的图像读取到内存的触发，即如果有了新的图像会触发程序将新采集 的图像数据读取到内存里面。设置用于一面将内存存取的采集图像存到硬盘、另一面从内存读取预定数目的采 集图像以进行图像超分辨图像处理和重建的触发。作为本专利技术实施例的一优选方案，步骤S104对采集的图像进行超分辨图像处理 和重建之后还包括设置对超分辨重建图像进行实时显示的触发。如图3所示，本专利技术实施例提供的基于单分子定位的超分辨成像系统包括参数设 置单元21、硬件调控单元22、图像采集单元23、图形处理单元对、触发设置单元25。该系统 可运行在计算机上。其中，参数设置单元21设置图像采集参数、硬件调控参数和超分辨图 像处理和重建参数。硬件调控单元22根据硬件调控参数进行硬件调控。图像采集单元23 根据采集参数进行图像采集，并根据采集的图像反馈调控硬件。图形处理单元M根据超分 辨图像处理和重建参数对采集的图像进行超分辨图像处理和重建，并根据超分辨图像处理 和重建的结果反馈调控硬件。图形处理单元M可用GPU来实现。触发设置单元25设置用 于将采集的图像读取到内存的触发，及设置用于一面将内存存取的采集图像存到硬盘、另 一面从内存读取预定数目的采集图像以进行图像超分辨图像处理和重建的触发。例如，可 设置触发事件，一方面将采集到的图像存到硬盘上，另一方面如果采集到预订数目的图像 就送到GPU处理，另外，在GPU处理结束后，将超分辨图像分析及处理和重建结果写到硬盘 上面，同时触发UI线程显示超分辨图像分析及处理和重建结果。参数设置单元21包括图像采集参数设置模块211、硬件调控参数设置模块212及 超分辨处理和重建参数设置模块213。其中，图像采集参数设置模块211设置图像传感器的 采集参数；采集参数包括曝光时间、采集周期、采集帧数、图像区域、制冷温度和EMGain。硬 件调控参数设置模块212设置调控硬件所需的参数，包括开关信号的周期，占空比，延迟时 间及电机的位置。超分辨处理和重建参数设置模块213用于设置图像超分辨处理和重建的 参数，包括每次处理和重建的帧数，放大倍数，系统放大率及EMGain。图像处理单元M包括卷积去噪模块Ml、子区域提取模块M2、定位模块243及成 像模块M4。其中，卷积去噪模块241将采集的图像进行卷积去噪，去噪后将图像存储在内 存中。子区域提取模块242根据设定超分辨图像处理和重建参数的阈值对去噪后的图像数 据进行计算，根据计算结果标记单分子位置信息，并将标记的单分子位置信息传到显存中。 定位模块243根据标记的单分子位置信息进行次像素级定位，确定单分子定位信息，并将 定位结果传送给内存。成像模块244叠加渲染单分子定位信息成最终的超分辨结果图。在本专利技术实施例中，针对图像重建部分的大运算量，可利用Main Thread线程处 理用户的请求(如各种硬件设备的设置和同步调控、图像处理请求等)，利用本文档来自技高网...

【技术保护点】
一种基于单分子定位的快速超分辨成像方法，其特征在于，包括：设置图像采集参数、硬件调控参数、超分辨图像处理和重建参数；根据所述硬件调控参数进行硬件调控；根据所述采集参数进行图像采集，并根据所述采集的图像反馈调控硬件；及根据所述超分辨图像处理和重建参数对所述采集的图像进行超分辨图像处理和重建，并根据超分辨图像处理和重建的结果反馈调控硬件。

【技术特征摘要】

【专利技术属性】
技术研发人员：黄振立，骆清铭，马洪强，龙帆，
申请(专利权)人：华中科技大学，
类型：发明
国别省市：83