一种用于图像分析的高性能计算框架方法及系统技术方案

本发明专利技术涉及一种用于图像分析的高性能计算框架系统，其中该框架系统包括：第一阶段模块，用于根据该细胞分割任务的设置和该计算节点的实际情况，组装符合该计算节点特点的第一图像处理流水线，执行细胞分割任务，生成单时间点细胞分割结果；第二阶段模块，用于根据该细胞追踪任务的设置和该计算节点的实际情况，组装符合该计算节点特点的第二图像处理流水线，对汇总的多个该细胞分割结果，执行细胞追踪任务，生成细胞追踪结果。本发明专利技术通过运用图像分析的高性能计算框架，根据具体图像处理任务的不同，灵活的搭建相对应的图像处理流水线，提高图像处理的吞吐率，加速图像处理的速度。

【技术实现步骤摘要】
一种用于图像分析的高性能计算框架方法及系统
本专利技术涉及生物信息学以及高性能计算异构并行加速
，特别是涉及一种用于图像分析的高性能计算框架方法及系统。
技术介绍
在生物信息学，尤其是发育学的研究中，分析的生物数据往往是通过各种具有诸如双光子、共聚焦、超分辨等技术的显微镜采集得到的荧光图像。对于这些荧光图像，可以使用多种图像分析与处理技术，通过对图像中的细胞进行观测、追踪与分析，进而分析在相应的组织以及器官的生长发育过程中，细胞的生长以及变化过程。而图像分析与处理的过程，通常需要根据待分析数据的实际情况，使用多种图像处理操作。在图像处理与研究中，经常使用的图像处理操作有图像对准、图像去噪、反卷积、图像分割、目标检索、兴趣域追踪、图像建模等操作。对于每一种图像处理操作，都对应着大量的算法与方法可供选择。多种图像处理操作组合在一起，就形成一个图像处理的流程。图像经过不同的图像处理步骤的逐步处理，可以产生截然不同的结果。在实践中，对于一个实际的图像分析问题，往往需要根据实际问题和图像自身的特点，选择合适的图像处理操作，并组合使用多种图像处理与分析技术与算法，形成自身需要的图像处理过程，才可以得到比较满意的处理效果，进而从中分析出数据采集者需要的信息。这就导致对于不同的图像处理与分析任务，开发人员都会开发与之相对应的处理过程，来处理和分析自己采集得到的图像数据。然而实际上，分析不同数据的图像处理过程中，往往有大量的步骤或者处理是重复的，但是由于开发人员彼此之间的交流非常有限，导致不同的图像处理操作的复用性非常低。即使采用相同的技术或者算法实现的图像处理操作，由于开发人员各自问题不同甚至是开发人员代码开发风格的不同，导致不同图像处理过程中具有相同功能或者算法的模块复用难度非常大，复用率非常低。此外，在生物信息学中，需要处理的数据量往往非常巨大，这就导致图像处理需要的时间非常长，如何加快图像处理的速度，缩短图像处理与分析的时间，也成为图像处理与分析中一项紧迫的任务。为了提高图像处理中的图像处理操作以及内部功能模块的复用率，同时加速图像处理的计算速度，本文提出了一种可以用于图像处理与分析的高性能计算框架，旨在方便灵活的使用多种图像处理操作组合出不同的图像处理流水线，从而可以应用于不同的图像处理任务。同时，该框架可以结合多种加速优化技术，提供单节点内部以及多节点之间的并行加速能力。从而大大提高图像处理的吞吐量，缩短运算时间。
技术实现思路
本专利技术的目的是解决上述现有技术产生的图像处理操作复用率低，计算速度慢的问题，提出了一种模块化的高性能图像处理计算框架，通过图像处理操作的高度模块化，可以实现灵活组合与复用进而搭建出不同的图像处理流水线，同时该框架可以部署在集群中，从而获得多节点的吞吐率与计算能力。具体地说，本专利技术公开了一种用于图像分析的高性能计算框架系统，其中该框架系统包括：第一接收模块，用于接收用户向集群提交待处理的图像文件以及图像处理任务要求；第一分析模块，用于根据集群配置，并结合任务调度与管理机制，生成单时间点细胞分割任务列表，并根据该任务列表、该图像文件和该图像处理任务要求，分析得出需要处理的全部的单时间点的细胞分割任务；第一分配模块，用于根据该任务调度与管理机制、集群包含的节点的数目，将该细胞分割任务分配到每个对应的计算节点；第一阶段模块，用于根据该细胞分割任务的设置和该计算节点的实际情况，组装符合该计算节点特点的第一图像处理流水线，执行细胞分割任务，生成单时间点细胞分割结果；第一提交模块，用于向计算框架提交该单时间点细胞分割结果；第一判断模块，用于根据该任务调度与管理机制，判断当前总体的图像分割任务列表是否为空，如果不为空，则根据各个节点的当前情况，进行新的任务调度与分配，直到该图像分割任务列表为空，全部的任务执行完成为止，如果为空，则调用第二分析模块；第二分析模块，用于根据集群配置，并结合任务调度与管理机制，生成多时间点细胞追踪的任务列表，并根据该任务列表、该图像文件和该图像处理任务要求，分析得出需要处理的全部的多时间点的细胞追踪任务；汇总模块，用于汇总属于该图像处理任务的多个该细胞分割结果；第二分配模块，用于根据该任务调度与管理机制、集群包含的节点的数目，将该细胞追踪任务分配到每个对应的计算节点；第二阶段模块，用于根据该细胞追踪任务的设置和该计算节点的实际情况，组装符合该计算节点特点的第二图像处理流水线，对汇总的多个该细胞分割结果，执行细胞追踪任务，生成细胞追踪结果；建立模块，用于根据该细胞追踪结果，建立世系关系图；第二提交模块，用于向计算框架提交该细胞追踪结果与世系关系图；第二判断模块，用于根据该任务调度与管理机制，判断当前总体的细胞追踪任务列表是否为空，如果不为空，则根据各个节点的当前情况，进行新的任务调度与分配，直到该细胞追踪任务列表为空，全部的任务执行完成为止，如果为空汇总并保存全部的数据结果，终止整体框架的运行，其中数据结果包括细胞分割结果、细胞追踪结果与世系关系图。该用于图像分析的高性能计算框架系统，其中该第一阶段模块，包括：读取模块，用于读取单个时间点的三维立体图像栈，对该图像栈中的每一个体像素分配一个索引，并将每一个该体像素编入一个索引编号队列；中值滤波模块，用于读取该图像栈中的每一个该体像素的亮度值，并对该图像栈中的每一个图像进行中值滤波操作并发送给候选点提取模块，其中该中值滤波操作包括，去除该图像中的椒盐噪声和图像平滑；候选点提取模块，用于对该图像栈中亮度值大于用户指定阈值的体像素进行提取，生成候选点集合；分水岭分割模块，用于接收该候选点集合，并对该候选点集合使用三维分水岭算法进行候选点图像分割，生成超体像素集合；聚合聚类模块，用于分析该超体像素集合，根据不同超体像素间的最低亮度差值与邻接区域亮度值的差值，建立系统树图；系统树图分割模块，用于根据用户指定的超体像素允许合并的亮度差值，对该系统树图进行分割，生成单个时间点细胞分割结果；第一保存模块，用于接收该细胞分割结果，并将细胞分割结果进行保存。该用于图像分析的高性能计算框架系统，其中该中值滤波模块，包括图像输入接口模块、图像输出接口模块以及计算节点环境检测模块，其中，计算节点环境检测模块，用于读取当前计算节点的运行环境，并根据该环境加载对应的加速优化代码；图像输入接口模块、图像输出接口模块，分别用于用户输入图像和输出处理之后的图像。该用于图像分析的高性能计算框架系统，其中该第二阶段模块，包括：准备模块，用于汇总该细胞分割结果，准备进行多个时间点的细胞追踪分析；高斯模型初始化模块，用于将每个该细胞分割结果作为一个高斯混合模型进行分析，生成对应的高斯混合模型；高斯模型推导模块，用于对该高斯混合模型进行参数推导，获得跨越时间点的细胞追踪信息和推导高斯混合模型；细胞分裂检测模块，用于使用大津阈值法对于该高斯模型包含的超体像素进行分析，形成对应的子高斯混合模型，并将所有的该高斯混合模型汇总，作为细胞分裂信息；规则库优化模块，用于对该高斯混合模型、该推导高斯混合模型和该子高斯混合模型进行分析判断，去除其中不符合条件的模型，保留符合条件的合格高斯混合模型；世系生成模块，用于根据该合格高斯混合模型、该细胞追踪信息以及该细胞分裂信息，本文档来自技高网...

【技术保护点】
一种用于图像分析的高性能计算框架系统，其特征在于，该框架系统包括：第一接收模块，用于接收用户向集群提交待处理的图像文件以及图像处理任务要求；第一分析模块，用于根据集群配置，并结合任务调度与管理机制，生成单时间点细胞分割任务列表，并根据该任务列表、该图像文件和该图像处理任务要求，分析得出需要处理的全部的单时间点的细胞分割任务；第一分配模块，用于根据该任务调度与管理机制、集群包含的节点的数目，将该细胞分割任务分配到每个对应的计算节点；第一阶段模块，用于根据该细胞分割任务的设置和该计算节点的实际情况，组装符合该计算节点特点的第一图像处理流水线，执行细胞分割任务，生成单时间点细胞分割结果；第一提交模块，用于向计算框架提交该单时间点细胞分割结果；第一判断模块，用于根据该任务调度与管理机制，判断当前总体的图像分割任务列表是否为空，如果不为空，则根据各个节点的当前情况，进行新的任务调度与分配，直到该图像分割任务列表为空，全部的任务执行完成为止，如果为空，则调用第二分析模块；第二分析模块，用于根据集群配置，并结合任务调度与管理机制，生成多时间点细胞追踪的任务列表，并根据该任务列表、该图像文件和该图像处理任务要求，分析得出需要处理的全部的多时间点的细胞追踪任务；汇总模块，用于汇总属于该图像处理任务的多个该细胞分割结果；第二分配模块，用于根据该任务调度与管理机制、集群包含的节点的数目，将该细胞追踪任务分配到每个对应的计算节点；第二阶段模块，用于根据该细胞追踪任务的设置和该计算节点的实际情况，组装符合该计算节点特点的第二图像处理流水线，对汇总的多个该细胞分割结果，执行细胞追踪任务，生成细胞追踪结果；建立模块，用于根据该细胞追踪结果，建立世系关系图；第二提交模块，用于向计算框架提交该细胞追踪结果与世系关系图；第二判断模块，用于根据该任务调度与管理机制，判断当前总体的细胞追踪任务列表是否为空，如果不为空，则根据各个节点的当前情况，进行新的任务调度与分配，直到该细胞追踪任务列表为空，全部的任务执行完成为止，如果为空汇总并保存全部的数据结果，终止整体框架的运行，其中数据结果包括细胞分割结果、细胞追踪结果与世系关系图。...

【技术特征摘要】
1.一种用于图像分析的高性能计算框架系统，其特征在于，该框架系统包括：第一接收模块，用于接收用户向集群提交待处理的图像文件以及图像处理任务要求；第一分析模块，用于根据集群配置，并结合任务调度与管理机制，生成单时间点细胞分割任务列表，并根据该任务列表、该图像文件和该图像处理任务要求，分析得出需要处理的全部的单时间点的细胞分割任务；第一分配模块，用于根据该任务调度与管理机制、集群包含的节点的数目，将该细胞分割任务分配到每个对应的计算节点；第一阶段模块，用于根据该细胞分割任务的设置和该计算节点的实际情况，组装符合该计算节点特点的第一图像处理流水线，执行细胞分割任务，生成单时间点细胞分割结果；第一提交模块，用于向计算框架提交该单时间点细胞分割结果；第一判断模块，用于根据该任务调度与管理机制，判断当前总体的图像分割任务列表是否为空，如果不为空，则根据各个节点的当前情况，进行新的任务调度与分配，直到该图像分割任务列表为空，全部的任务执行完成为止，如果为空，则调用第二分析模块；第二分析模块，用于根据集群配置，并结合任务调度与管理机制，生成多时间点细胞追踪的任务列表，并根据该任务列表、该图像文件和该图像处理任务要求，分析得出需要处理的全部的多时间点的细胞追踪任务；汇总模块，用于汇总属于该图像处理任务的多个该细胞分割结果；第二分配模块，用于根据该任务调度与管理机制、集群包含的节点的数目，将该细胞追踪任务分配到每个对应的计算节点；第二阶段模块，用于根据该细胞追踪任务的设置和该计算节点的实际情况，组装符合该计算节点特点的第二图像处理流水线，对汇总的多个该细胞分割结果，执行细胞追踪任务，生成细胞追踪结果；建立模块，用于根据该细胞追踪结果，建立世系关系图；第二提交模块，用于向计算框架提交该细胞追踪结果与世系关系图；第二判断模块，用于根据该任务调度与管理机制，判断当前总体的细胞追踪任务列表是否为空，如果不为空，则根据各个节点的当前情况，进行新的任务调度与分配，直到该细胞追踪任务列表为空，全部的任务执行完成为止，如果为空汇总并保存全部的数据结果，终止整体框架的运行，其中数据结果包括细胞分割结果、细胞追踪结果与世系关系图。2.如权利要求1所述的用于图像分析的高性能计算框架系统，其特征在于，该第一阶段模块，包括：读取模块，用于读取单个时间点的三维立体图像栈，对该图像栈中的每一个体像素分配一个索引，并将每一个该体像素编入一个索引编号队列；中值滤波模块，用于读取该图像栈中的每一个该体像素的亮度值，并对该图像栈中的每一个图像进行中值滤波操作并发送给候选点提取模块，其中该中值滤波操作包括，去除该图像中的椒盐噪声和图像平滑；候选点提取模块，用于对该图像栈中亮度值大于用户指定阈值的体像素进行提取，生成候选点集合；分水岭分割模块，用于接收该候选点集合，并对该候选点集合使用三维分水岭算法进行候选点图像分割，生成超体像素集合；聚合聚类模块，用于分析该超体像素集合，根据不同超体像素间的最低亮度差值与邻接区域亮度值的差值，建立系统树图；系统树图分割模块，用于根据用户指定的超体像素允许合并的亮度差值，对该系统树图进行分割，生成单个时间点细胞分割结果；第一保存模块，用于接收该细胞分割结果，并将细胞分割结果进行保存。3.如权利要求2所述的用于图像分析的高性能计算框架系统，其特征在于，该中值滤波模块，包括图像输入接口模块、图像输出接口模块以及计算节点环境检测模块，其中，计算节点环境检测模块，用于读取当前计算节点的运行环境，并根据该环境加载对应的加速优化代码；图像输入接口模块、图像输出接口模块，分别用于用户输入图像和输出处理之后的图像。4.如权利要求1所述的用于图像分析的高性能计算框架系统，其特征在于，该第二阶段模块，包括：准备模块，用于汇总该细胞分割结果，准备进行多个时间点的细胞追踪分析；高斯模型初始化模块，用于将每个该细胞分割结果作为一个高斯混合模型进行分析，生成对应的高斯混合模型；高斯模型推导模块，用于对该高斯混合模型进行参数推导，获得跨越时间点的细胞追踪信息和推导高斯混合模型；细胞分裂检测模块，用于使用大津阈值法对于该高斯模型包含的超体像素进行分析，形成对应的子高斯混合模型，并将所有的该高斯混合模型汇总，作为细胞分裂信息；规则库优化模块，用于对该高斯混合模型、该推导高斯混合模型和该子高斯混合模型进行分析判断，去除其中不符合条件的模型，保留符合条件的合格高斯混合模型；世系生成模块，用于根据该合格高斯混合模型、该细胞追踪信息以及该细胞分裂信息，建立每一次细胞分裂的世系关系图；第二保存模块，用于保存得到的该细胞追踪信息、该细胞分裂信息以及该世系关系图。5.如权利要求4所述的用于图像分析的高性能计算框架系统，其特征在于，该规则库优化模块中的分析判断，具体为，将该高斯混合模型、该推导高斯混合模型和该子高斯混合模型与用户指定高斯混合模型尺寸阈值、模型持续时间阈值，以及细胞分裂产生的子模型...

【专利技术属性】
技术研发人员：谭光明，苑鲁峰，
申请(专利权)人：中国科学院计算技术研究所，
类型：发明
国别省市：北京,11