【技术实现步骤摘要】
本申请涉及信息，尤其是涉及一种分布式数据处理方法和装置。
技术介绍
1、在海关、民航等安检领域，通常使用二维图像作为安全检查流程的依据。如x光机安全检查系统，计算机断层扫描(computed tomography，ct)成像系统等。通常在这些系统中，业务流转依据的数据来源单一，例如均为二维图像，因此业务流程也相对简单，业务流程产生的中间数据和终端数据也比较少。
2、然而，随着安全检查需求日益复杂，安检对象数据量增大，并且随着安检技术的发展，对安检业务流程的数据来源提出了更多的要求。例如，为了提高安检效率和通过率，对航空货物进行整箱扫描(例如，q6：3.18m＊2.44m＊2.44m，q7：3.18m＊2.44m＊2.99m)，对于这种全新的业务场景，安全检查流程需要三维图像和多角度二维图像相结合作为业务流转的依据，而且自动识别服务也会输出二维和三维的嫌疑物数据，在人工检查过程中，还会产生人工标注的二维和三维嫌疑物数据，还有对嫌疑物进行拍照取证等产生的一系列业务数据。这样大量的数据需要在安检系统的内部进行压缩、传输、存储，从而给安检系统带来巨大的压力。再者，为了应对业务的变化，如果需要输入或者输出新的数据类型，现有的安检系统也不能很好地适应这样的需求变化。
技术实现思路
1、本申请的目的在于，提供一种提高数据处理效率的分布式数据处理方法和装置。另外，还提供一种对新流程、新数据类型的适应性增强的分布式数据处理方法和装置。
2、本申请的第一方式提供一种分布式数据处
3、在上述的分布式数据处理方法中，还包括：根据每个服务集群的工作情况，对服务集群分配任务，服务集群是同一种流水线的集群，服务集群是一个或多个。
4、在上述的分布式数据处理方法中，流水线创建过程还包括：根据各节点的任务的特点，将长的流水线分割成短的流水线，由这些短的流水线中选取同一种流水线组成服务集群，长的流水线是包含多种数据处理服务的流水线，短的流水线是包含单一类型的数据处理服务的流水线。
5、在上述的分布式数据处理方法中，同一种流水线为执行相同的类型的数据处理服务的流水线。
6、在上述的分布式数据处理方法中，同一种流水线包含需要相同硬件和/或软件环境的数据处理服务的流水线。
7、在上述的分布式数据处理方法中，针对服务集群里的每个流水线的数据处理服务配置优先级，根据优先级进行任务分配，优先级由硬件的计算能力和/或并行能力决定。
8、在上述的分布式数据处理方法中，还包括：将数据传输给被分配任务的服务集群，在服务集群之间传输的数据和/或在服务集群的流水线的节点之间传输的数据包括多种类型的数据。
9、在上述的分布式数据处理方法中，还包括：执行服务集群的数据处理服务，在执行服务集群的数据处理服务的过程中，根据上游数据处理节点和下游数据处理节点的数据类型来确定流水线中的节点之间的转移。
10、在上述的分布式数据处理方法中，将上游数据处理节点的数据分成多个块，按照块传递给下游的n个同类型的节点，在下游数据处理节点中进行并行处理。
11、在上述的分布式数据处理方法中，数据处理服务包括：图像重建、图像识别、数据存储、数据压缩、数据传输中的至少一个。
12、本申请的第二方式提供一种分布式数据处理装置，包括：流水线创建模块，流水线创建模块包括：节点创建模块，用于创建数据处理节点和检查节点，每个数据处理节点负责单一任务，检查节点是对数据处理节点输出的数据和流水线中的流程进行检查的节点；主线生成模块，用于根据流程配置文件，选取数据处理节点组成用于实现数据处理服务的流水线的主线；以及支流生成模块，用于由检查节点创建检查支流来补充流水线，检查支流包括数据检查支流以及流程检查支流。
13、在上述的分布式数据处理装置中，还包括：任务分配模块，用于根据每个服务集群的工作情况，对服务集群分配任务，服务集群是同一种流水线的集群，服务集群是一个或多个。
14、在上述的分布式数据处理装置中，流水线创建模块还包括：流水线分割模块，流水线分割模块，用于根据各节点的任务的特点，将长的流水线分割成短的流水线，由这些短的流水线中选取同一种流水线组成服务集群，长的流水线是包含多种数据处理服务的流水线，短的流水线是包含单一类型的数据处理服务的流水线。
15、在上述的分布式数据处理装置中，同一种流水线为执行相同的类型的数据处理服务的流水线。
16、在上述的分布式数据处理装置中，同一种流水线包含需要相同硬件和/或软件环境的数据处理服务的流水线。
17、在上述的分布式数据处理装置中，任务分配模块还用于针对服务集群里的每个流水线的数据处理服务配置优先级，根据优先级进行任务分配，优先级由硬件的计算能力和/或并行能力决定。
18、在上述的分布式数据处理装置中，还包括：数据传输模块，用于将数据传输给被分配任务的服务集群，在服务集群之间传输的数据和/或在服务集群的流水线的节点之间传输的数据包括多种类型的数据。
19、在上述的分布式数据处理装置中，还包括：数据处理服务执行模块，执行服务集群的数据处理服务，数据处理服务执行模块根据上游数据处理节点和下游数据处理节点的数据类型来确定流水线中的节点之间的转移。
20、在上述的分布式数据处理装置中，数据处理服务执行模块将上游数据处理节点的数据分成多个块，按照块传递给下游的n个同类型的节点，在下游数据处理节点中进行并行处理。
21、在上述的分布式数据处理装置中，数据处理服务包括：图像重建、图像识别、数据存储、数据压缩、数据传输中的至少一个。
22、本申请的第三方式提供一种计算机可读存储介质，存储有计算机程序，该计算机程序被计算机执行时，实现如上述的任意的分布式数据处理方法。
23、本申请的第四方式提供一种电子设备，包括：处理器；以及存储有计算机程序的存储器；处理器执行计算机程序时，实现上述的任意的分布式数据处理方法。
24、根据本申请的分布式数据处理方法和装置，创建具有数据处理节点和检查节点的流水线，由同一种流水线形成服务集群，根据各服务集群的工作情况分配任务，当任务被分配给服务集群时，向该服务集群传输数据，并执行该服务集群的流水线中的数据处理服务，由此能够提高数据处理效率。另外，将长的流水线分割成短的流水线，由这些短的流水线中选取同一种流水线组成服务集群，能够应对复杂的数据和流程，从而能够增强对新流程、新数据类型的适应性。
本文档来自技高网...【技术保护点】
1.一种分布式数据处理方法，包括：
2.如权利要求1所述的分布式数据处理方法，还包括：
3.如权利要求2所述的分布式数据处理方法，其中，
4.如权利要求3所述的分布式数据处理方法，其中，
5.如权利要求2所述的分布式数据处理方法，其中，
6.如权利要求2所述的分布式数据处理方法，还包括：
7.如权利要求2所述的分布式数据处理方法，还包括：
8.如权利要求7所述的分布式数据处理方法，其中，
9.如权利要求2所述的分布式数据处理方法，其中，
10.一种分布式数据处理装置，包括：
11.如权利要求10所述的分布式数据处理装置，还包括：
12.如权利要求11所述的分布式数据处理装置，其中，
13.如权利要求12所述的分布式数据处理装置，其中，
14.如权利要求11所述的分布式数据处理装置，其中，
15.如权利要求11所述的分布式数据处理装置，还包括：
16.如权利要求11所述的分布式数据处理装置，还包括：>
17.如权利要求16所述的分布式数据处理装置，其中，
18.如权利要求11所述的分布式数据处理装置，其中，
19.一种计算机可读存储介质，存储有计算机程序，
20.一种电子设备，包括：
...【技术特征摘要】
1.一种分布式数据处理方法，包括：
2.如权利要求1所述的分布式数据处理方法，还包括：
3.如权利要求2所述的分布式数据处理方法，其中，
4.如权利要求3所述的分布式数据处理方法，其中，
5.如权利要求2所述的分布式数据处理方法，其中，
6.如权利要求2所述的分布式数据处理方法，还包括：
7.如权利要求2所述的分布式数据处理方法，还包括：
8.如权利要求7所述的分布式数据处理方法，其中，
9.如权利要求2所述的分布式数据处理方法，其中，
10.一种分布式数据处理装置，包括：
11.如权利...
【专利技术属性】
技术研发人员：张丽，李元景，黄清萍，徐建平，任乾鲁，王潜力，陈宇，高阳，徐洋贞，
申请(专利权)人：同方威视科技江苏有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。