数据处理方法和装置制造方法及图纸

本申请实施例提供了一种数据处理方法和装置，在进行数据处理时，先接收数据处理请求；其中，数据处理请求中包括待处理数据的标识；根据待处理数据的标识，在关系型数据库管理系统中查找待处理数据所在的目标文件存储路径；根据目标文件存储路径，从分布式文件系统中获取待处理数据；其中，分布式文件系统中存储有各数据以及各数据所在的文件存储路径；对待处理数据进行处理。这样通过将数据分散存储在分布式文件系统中，由于分布式文件系统支持大量的数据存储，且吞吐量较大，因此，对存储在分布式文件系统中的数据进行处理时，其数据处理效率较高，可以有效地提高数据的处理效率。可以有效地提高数据的处理效率。可以有效地提高数据的处理效率。

【技术实现步骤摘要】
数据处理方法和装置


[0001]本专利技术涉及数据管理
，尤其涉及一种数据处理方法和装置。

技术介绍

[0002]通常情况下，在有数据存储需求时，是将数据存储在关系型数据库管理系统(My structured query language，简称MySQL)中。在对数据进行处理时，从MySQL中读取待处理数据，并对待处理数据进行分析处理，再将数据分析结果存储在MySQL中。
[0003]但是，当MySQL中存储有海量数据时，若从MySQL中读取待处理数据，并对待处理数据进行分析处理，会使得MySQL的数据处理量较大，从而导致数据处理效率较低。

技术实现思路

[0004]本申请实施例提供了一种数据处理方法和装置，能够有效地提高数据处理的效率。
[0005]第一方面，本申请实施例提供了一种数据处理方法，所述数据处理方法包括：
[0006]接收数据处理请求；其中，所述数据处理请求中包括待处理数据的标识。
[0007]根据所述待处理数据的标识，在关系型数据库管理系统中查找所述待处理数据所在的目标文件存储路径；其中，所述关系型数据库管理系统中存储有多个数据中各数据的标识以及所述各数据所在的文件存储路径，且所述多个数据中包括所述待处理数据。
[0008]根据所述目标文件存储路径，从分布式文件系统中获取所述待处理数据；其中，所述分布式文件系统中存储有所述各数据以及所述各数据所在的文件存储路径。
[0009]对所述待处理数据进行处理。
[0010]在一种可能的实现方式中，所述方法还包括：
[0011]根据所述待处理数据的处理结果，在所述关系型数据库管理系统中对所述待处理数据的状态进行标记；其中，所述待处理数据的状态包括已处理或者未处理。
[0012]在一种可能的实现方式中，所述根据所述待处理数据的标识，在关系型数据库管理系统中查找所述待处理数据所在的目标文件存储路径之前，还包括：
[0013]获取所述多个数据。
[0014]将所述多个数据存储在所述分布式文件系统中，并生成所述多个数据各自所在的文件存储路径。
[0015]根据所述多个数据中各数据的标识以及所述各数据所在的文件存储路径建立所述关系型数据库管理系统。
[0016]在一种可能的实现方式中，所述分布式文件系统中包括多个文件存储单元，所述将所述多个数据存储在所述分布式文件系统中，包括：
[0017]确定所述多个文件存储容器中各文件存储单元可存储的数据容量。
[0018]根据所述各文件存储单元可存储的数据容量，将所述多个数据存储所述分布式文件系统中；不同的文件存储单元对应的文件存储路径不同。
[0019]在一种可能的实现方式中，所述方法还包括：
[0020]输出所述待处理数据的处理结果。
[0021]根据所述待处理数据的处理结果，对所述分布式文件系统中的所述待处理数据进行更新。
[0022]在一种可能的实现方式中，所述数据处理请求中还包括目标处理方法，所述对所述待处理数据进行处理，包括：
[0023]根据所述目标处理方法对所述待处理数据进行处理。
[0024]第二方面，本申请实施例提供了一种数据处理装置，所述数据处理装置包括：
[0025]接收单元，用于接收数据处理请求；其中，所述数据处理请求中包括待处理数据的标识。
[0026]获取单元，用于根据所述待处理数据的标识，在关系型数据库管理系统中查找所述待处理数据所在的目标文件存储路径；其中，所述关系型数据库管理系统中存储有多个数据中各数据的标识以及所述各数据所在的文件存储路径，且所述多个数据中包括所述待处理数据。
[0027]所述获取单元，还用于根据所述目标文件存储路径，从分布式文件系统中获取所述待处理数据；其中，所述分布式文件系统中存储有所述各数据以及所述各数据所在的文件存储路径。
[0028]处理单元，用于对所述待处理数据进行处理。
[0029]在一种可能的实现方式中，所述处理单元，还用于根据所述待处理数据的处理结果，在所述关系型数据库管理系统中对所述待处理数据的状态进行标记；其中，所述待处理数据的状态包括已处理或者未处理。
[0030]在一种可能的实现方式中，所述方法还包括存储单元，所述存储单元，用于获取所述多个数据；将所述多个数据存储在所述分布式文件系统中，并生成所述多个数据各自所在的文件存储路径；根据所述多个数据中各数据的标识以及所述各数据所在的文件存储路径建立所述关系型数据库管理系统。
[0031]在一种可能的实现方式中，所述存储单元，具体用于确定所述多个文件存储容器中各文件存储单元可存储的数据容量；根据所述各文件存储单元可存储的数据容量，将所述多个数据存储所述分布式文件系统中；不同的文件存储单元对应的文件存储路径不同。
[0032]在一种可能的实现方式中，所述处理单元，还用于输出所述待处理数据的处理结果；并根据所述待处理数据的处理结果，对所述分布式文件系统中的所述待处理数据进行更新。
[0033]在一种可能的实现方式中，所述处理单元，具体用于根据所述目标处理方法对所述待处理数据进行处理。
[0034]第三方面，本申请实施例还提供了一种数据处理装置，该数据处理装置可以包括存储器和处理器；其中，
[0035]所述存储器，用于存储计算机程序。
[0036]所述处理器，用于读取所述存储器存储的计算机程序，并根据所述存储器中的计算机程序执行上述第一方面任一种可能的实现方式中所述的数据处理方法。
[0037]第四方面，本申请实施例还提供了一种计算机可读存储介质，所述计算机可读存
储介质中存储有计算机执行指令，当处理器执行所述计算机执行指令时，实现上述第一方面任一种可能的实现方式中所述的数据处理方法。
[0038]第五方面，本申请实施例还提供了一种计算机程序产品，包括计算机程序，该计算机程序被处理器执行时，实现上述第一方面任一种可能的实现方式中所述的数据处理方法。
[0039]由此可见，本申请实施例提供了一种数据处理方法和装置，在进行数据处理时，先接收数据处理请求；其中，数据处理请求中包括待处理数据的标识；根据待处理数据的标识，在关系型数据库管理系统中查找待处理数据所在的目标文件存储路径；根据目标文件存储路径，从分布式文件系统中获取待处理数据；其中，分布式文件系统中存储有各数据以及各数据所在的文件存储路径；对待处理数据进行处理。这样通过将数据分散存储在分布式文件系统中，由于分布式文件系统支持大量的数据存储，且吞吐量较大，因此，在对存储在分布式文件系统中的数据进行处理时，其数据处理效率较高，可以有效地提高数据的处理效率。
附图说明
[0040]此处的附图被并入说明书中并构成本说明书的一部分，示出了符合本公开的实施例，并与说明书一起用于解释本公开的原理。
[0041]图1为本申请实施例提供的一种数据处理方法的流程示意图；
[00本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种数据处理方法，其特征在于，包括：接收数据处理请求；其中，所述数据处理请求中包括待处理数据的标识；根据所述待处理数据的标识，在关系型数据库管理系统中查找所述待处理数据所在的目标文件存储路径；其中，所述关系型数据库管理系统中存储有多个数据中各数据的标识以及所述各数据所在的文件存储路径，且所述多个数据中包括所述待处理数据；根据所述目标文件存储路径，从分布式文件系统中获取所述待处理数据；其中，所述分布式文件系统中存储有所述各数据以及所述各数据所在的文件存储路径；对所述待处理数据进行处理。2.根据权利要求1所述的方法，其特征在于，所述方法还包括：根据所述待处理数据的处理结果，在所述关系型数据库管理系统中对所述待处理数据的状态进行标记；其中，所述待处理数据的状态包括已处理或者未处理。3.根据权利要求1所述的方法，其特征在于，所述根据所述待处理数据的标识，在关系型数据库管理系统中查找所述待处理数据所在的目标文件存储路径之前，还包括：获取所述多个数据；将所述多个数据存储在所述分布式文件系统中，并生成所述多个数据各自所在的文件存储路径；根据所述多个数据中各数据的标识以及所述各数据所在的文件存储路径建立所述关系型数据库管理系统。4.根据权利要求3所述的方法，其特征在于，所述分布式文件系统中包括多个文件存储单元，所述将所述多个数据存储在所述分布式文件系统中，包括：确定所述多个文件存储容器中各文件存储单元可存储的数据容量；根据所述各文件存储单元可存储的数据容量，将所述多个数据存储所述分布式文件系统中；不同的文件存储单元对应的文件存储路径不同。5.根据权利要求1
‑
4任一项所述的方法，其特征在于，所述方法还包括：输出所述待处理数据的处理结果...

【专利技术属性】
技术研发人员：郑永广，武宗涛，胡奎，赵锡成，
申请(专利权)人：中国联合网络通信集团有限公司，
类型：发明
国别省市：