图像数据处理方法、装置、计算机设备和存储介质制造方法及图纸

本申请涉及一种图像数据处理方法、装置、计算机设备和存储介质。所述方法包括：从分布式内存中获取待处理图像；获取对待处理图像进行处理的图像处理任务；根据图像处理任务确定目标处理器类型和目标资源需求；从处理器节点中确定与目标处理器类型和目标资源需求匹配的目标处理器节点，处理器节点包括中央处理器CPU节点和图形处理器GPU节点；将图像处理任务分配至目标处理器节点。本方法基于分布式内存和并行处理架构相结合的方式，能够有效提升图像数据的处理效率，满足图像处理的实时性需求。

【技术实现步骤摘要】
图像数据处理方法、装置、计算机设备和存储介质
本申请涉及数据处理
，特别是涉及一种图像数据处理方法、装置、计算机设备和存储介质。
技术介绍
基于光学图像传感的表面缺陷自动光学(视觉)检测技术已成为表面缺陷检测的重要手段，具有自动化、非接触、速度快、精度高、稳定性高等优点，在精密制造与组装行业，如手机、液晶面板、硅片、印制电路板等领域发展迅速。上述领域的产品通常为大幅面产品，在检测过程中需要对待检对象进行多次成像，很容易发生由待检对象的局部变形带来的高误报率，以及微小缺陷、亚像素缺陷等难以稳定检出的问题。采用实时视觉检测技术对大幅面产品进行检测，需通过光学传感、运动装置和信号处理等装置将待检对象的成像转换为大幅面图像，再基于大幅面图像进行图像拼接、缺陷检测、图像校准、图像匹配等处理。现阶段实时视觉检测常采用GPU(GraphicsProcessingUnit，图形处理器)计算加速模块实现图像的并行计算，亦或是采用加大内存的容量解决计算瓶颈问题，难以适用于大幅面图像的处理过程所面临的宽幅大、高精密、容量大等困难，因此，亟需一种能够更加高效地检测大幅面图像的方式。
技术实现思路
基于此，有必要针对上述技术问题，提供一种能够高效地检测大幅面图像的图像数据处理方法、装置、计算机设备和存储介质。第一方面，本申请实施例提供一种图像数据处理方法，所述方法包括：获取对所述待处理图像进行处理的图像处理任务，所述待处理图像存储在分布式内存中；根据所述图像处理任务确定目标处理器类型和目标资源需求；从处理器节点中确定与所述目标处理器类型和所述目标资源需求匹配的目标处理器节点，所述处理器节点包括中央处理器CPU(CentralProcessingUnit，中央处理器)节点和图形处理器GPU节点；将所述图像处理任务分配至所述目标处理器节点。在其中一个实施例中，所述从处理器节点中确定与所述目标处理器类型和所述目标资源需求匹配的目标处理器节点，包括：根据所述处理器节点对应的注册信息轮询所述处理器节点，获取所述处理器节点对应的剩余处理资源；确定与所述目标处理器类型匹配的处理器节点；将所述匹配的处理器节点中，剩余处理资源满足所述目标资源需求的处理器节点作为所述目标处理器节点。在其中一个实施例中，所述根据所述图像处理任务确定目标处理器类型和目标资源需求，包括：通过图像处理任务与处理器类型和资源需求的映射关系，确定所述目标处理器类型和所述目标资源需求，其中当所述图像处理任务中包含并行处理任务时，与所述并行处理任务对应的目标处理器类型为GPU；当所述图像处理任务中包含逻辑分析处理任务时，与所述逻辑分析处理任务对应的目标处理器类型为CPU。在其中一个实施例中，所述方法还包括：对于所述并行处理任务，将所述待处理图像中需并行处理的数据从所述分布式内存传输至GPU显存，通过目标GPU节点对所述GPU显存中的数据进行处理；对于所述逻辑分析处理任务，通过目标CPU节点对所述待处理图像中需逻辑分析处理的数据进行处理。在其中一个实施例中，所述待处理图像的确定方式包括：获取原始图像以及图像性能阈值；对所述原始图像进行检测，得到所述原始图像的图像性能值；确定所述待处理图像为图像性能值超过所述图像性能阈值的原始图像；将所述待处理图像保存至所述分布式内存中。在其中一个实施例中，所述方法还包括：将所述待处理图像，以及所述图像性能值未超过所述图像性能阈值的原始图像分别进行压缩，并保存至分布式存储系统中。在其中一个实施例中，所述方法还包括：在对所述待处理图像进行处理的过程中，从增量数据库获取新增待处理图像，以供所述图像处理任务使用。在其中一个实施例中，所述方法还包括：获取所述待处理图像的图像属性信息；通过关联知识库确定与所述图像处理任务和所述图像属性信息匹配的参考处理模式，所述参考处理模式包括参考处理器类型以及与对应的参考资源需求；根据所述参考处理器类型和所述参考资源需求，对所述目标处理器类型和所述目标资源需求进行调整；所述从处理器节点中确定与所述目标处理器类型和所述目标资源需求匹配的目标处理器节点，包括：从所述处理器节点中确定与调整后的所述目标处理器类型和所述目标资源需求匹配的目标处理器节点。在其中一个实施例中，所述方法还包括：根据所述图像处理任务和所述图像属性信息，以及对应的调整后的所述目标处理器类型和所述目标资源需求，对所述关联知识库进行更新。第二方面，本申请实施例提供一种图像数据处理装置，所述装置包括：任务获取模块，用于获取对所述待处理图像进行处理的图像处理任务，所述待处理图像存储在分布式内存中；需求确定模块，用于根据所述图像处理任务确定目标处理器类型和目标资源需求；节点确定模块，用于从处理器节点中确定与所述目标处理器类型和所述目标资源需求匹配的目标处理器节点，所述处理器节点包括中央处理器CPU节点和图形处理器GPU节点；任务分配模块，用于将所述图像处理任务分配至所述目标处理器节点。第三方面，本申请实施例提供一种计算机设备，包括存储器和处理器，所述存储器存储有计算机程序，所述处理器执行所述计算机程序时实现上述第一方面任一项所述的方法的步骤。第四方面，本申请实施例提供一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现上述第一方面任一项所述的方法的步骤。上述图像数据处理方法、装置、计算机设备和存储介质，采用分布式内存和并行处理架构相结合的方式，将待处理图像直接装载至分布式内存，可以更好地满足图像处理的实时性需求，减缓数据阻塞。通过单独注册处理器节点，便于对处理节点的类型和处理资源等信息进行管理，有助于快速地根据图像处理任务对应的目标处理器类型和目标处理资源确定匹配的目标处理器节点。在确定目标处理器节点后，基于并行处理架构对图像处理任务进行处理，可以有效提升图像数据的处理效率。附图说明图1为一个实施例中图像数据处理方法的应用环境图；图2为一个实施例中图像数据处理方法的流程示意图；图3为一个实施例中确定目标处理器节点步骤的流程示意图；图4为一个实施例中改进后的分布式服务框架的示意图；图5为一个实施例中待处理图像的确定步骤的流程示意图；图6为一个实施例中应用关联知识库优化目标处理器节点步骤的流程示意图；图7为一个实施例中图像数据处理方法的流程示意图；图8为一个实施例中图像数据处理方法的流程示意图；图9为一个实施例中图像数据处理装置的结构框图；图10为一个实施例中计算机设备的内部结构图。具体实施方式为了使本申请的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本申请进行进一步详细说明。应当理解，此处描述的具本文档来自技高网...

【技术保护点】
1.一种图像数据处理方法，其特征在于，所述方法包括：/n获取对所述待处理图像进行处理的图像处理任务，所述待处理图像存储在分布式内存中；/n根据所述图像处理任务确定目标处理器类型和目标资源需求；/n从处理器节点中确定与所述目标处理器类型和所述目标资源需求匹配的目标处理器节点，所述处理器节点包括中央处理器CPU节点和图形处理器GPU节点；/n将所述图像处理任务分配至所述目标处理器节点。/n

【技术特征摘要】
1.一种图像数据处理方法，其特征在于，所述方法包括：
获取对所述待处理图像进行处理的图像处理任务，所述待处理图像存储在分布式内存中；
根据所述图像处理任务确定目标处理器类型和目标资源需求；
从处理器节点中确定与所述目标处理器类型和所述目标资源需求匹配的目标处理器节点，所述处理器节点包括中央处理器CPU节点和图形处理器GPU节点；
将所述图像处理任务分配至所述目标处理器节点。


2.根据权利要求1所述的方法，其特征在于，所述从处理器节点中确定与所述目标处理器类型和所述目标资源需求匹配的目标处理器节点，包括：
根据所述处理器节点对应的注册信息轮询所述处理器节点，获取所述处理器节点对应的剩余处理资源；
确定与所述目标处理器类型匹配的处理器节点；
将所述匹配的处理器节点中，剩余处理资源满足所述目标资源需求的处理器节点作为所述目标处理器节点。


3.根据权利要求1所述的方法，其特征在于，所述根据所述图像处理任务确定目标处理器类型和目标资源需求，包括：
通过图像处理任务与处理器类型和资源需求的映射关系，确定所述目标处理器类型和所述目标资源需求，其中
当所述图像处理任务中包含并行处理任务时，与所述并行处理任务对应的目标处理器类型为GPU；
当所述图像处理任务中包含逻辑分析处理任务时，与所述逻辑分析处理任务对应的目标处理器类型为CPU。


4.根据权利要求1所述的方法，其特征在于，所述待处理图像的确定方式包括：
获取原始图像以及图像性能阈值；
对所述原始图像进行检测，得到所述原始图像的图像性能值；
确定所述待处理图像为图像性能值超过所述图像性能阈值的原始图像；
将所述待处理图像保存至所述分布式内存中。


5.根据权利要求4所述的方法，其特征在于，所述方法还包括：
将所述待处理图像，以...

【专利技术属性】
技术研发人员：林珠，赵晓萌，周俊杰，方少亮，马志平，
申请(专利权)人：广东省科技基础条件平台中心，
类型：发明
国别省市：广东;44