数据处理方法和装置制造方法及图纸

本说明书实施例公开了一种数据处理方法和装置，以解决传统的数据处理方案存在的处理效率低、处理成本高的问题。所述方法包括：接收针对目标数据的处理请求，所述处理请求中携带对所述目标数据进行处理所需的处理配置参数；基于所述处理配置参数，创建用于处理所述目标数据的应用程序；将所述应用程序的存储目录挂载到存放所述目标数据的共享目录上，所述存储目录被挂载到所述共享目录后，所述应用程序在运行过程中对所述存储目录的访问操作被映射到所述共享目录上；在容器服务集群中创建容器并在所述容器中运行所述应用程序，其中，所述应用程序在运行过程中通过访问所述存储目录获取所述目标数据并进行处理。获取所述目标数据并进行处理。获取所述目标数据并进行处理。

【技术实现步骤摘要】
数据处理方法和装置


[0001]本申请涉及计算机
，尤其涉及一种数据处理方法和装置。

技术介绍

[0002]在一些业务场景下，比如对于机器学习模型的训练，传统的数据处理方案通常需要由使用方将所需的数据从源端下载到本机，然后根据业务需求对所需的数据进行相应的数据处理操作。但是，如果上述数据需要经过不同的使用方进行相应处理，那么，同一份数据就需要被不同的使用方重复下载，这不仅降低了处理效率，还增加了处理成本。

技术实现思路

[0003]本说明书实施例的目的是提供一种数据处理方法和装置，以解决传统的数据处理方案存在的处理效率低、处理成本高的问题。
[0004]为了实现上述目的，本说明书实施例采用下述技术方案：
[0005]第一方面，提供一种数据处理方法，包括：
[0006]接收针对目标数据的处理请求，所述处理请求中携带对所述目标数据进行处理所需的处理配置参数；
[0007]基于所述处理配置参数，创建用于处理所述目标数据的应用程序；
[0008]将所述应用程序的存储目录挂载到存放所述目标数据的共享目录上，所述应用程序在运行过程中对所述存储目录的访问操作被映射到所述共享目录上；
[0009]在容器服务集群中创建容器并在所述容器中运行所述应用程序，其中，所述应用程序在运行过程中通过访问所述存储目录获取所述目标数据并进行处理。
[0010]第二方面，提供一种数据处理系统，包括：管理控制平台和容器服务集群；
[0011]所述管理控制平台，用于接收针对目标数据的处理请求，所述处理请求中携带对所述目标数据进行处理所需的处理配置参数，基于所述处理配置参数，创建用于处理所述目标数据的应用程序，将所述应用程序的存放目录挂载到存放所述目标数据的共享目录上，所述存储目录被挂载到所述共享目录后，所述应用程序在运行过程中对所述存储目录的访问操作被映射到所述共享目录上，以及向所述容器服务集群发送容器创建请求，所述容器创建请求用于请求创建运行所述应用程序的容器；
[0012]所述容器服务集群，用于接收来自所述管理控制平台的容器创建请求，创建容器并在所述容器中运行所述应用程序，其中，所述应用程序在运行过程中通过访问所述存储目录获取所述目标数据并进行处理。
[0013]第三方面，提供一种数据处理装置，包括：
[0014]第一接收模块，用于接收针对目标数据的处理请求，所述处理请求中携带对所述目标数据进行处理所需的处理配置参数；
[0015]第一创建模块，用于基于所述处理配置参数，创建用于处理所述目标数据的应用程序；
[0016]挂载模块，用于将所述应用程序的存储目录挂载到存放所述目标数据的共享目录上，所述应用程序在运行过程中对所述存储目录的访问操作被映射到所述共享目录上；
[0017]第二创建模块，用于在容器服务集群中创建容器并在所述容器中运行所述应用程序，其中，所述应用程序在运行过程中通过访问所述存储目录获取所述目标数据并进行处理。
[0018]第四方面，提供一种电子设备，包括：
[0019]处理器；
[0020]用于存储所述处理器可执行指令的存储器；
[0021]其中，所述处理器被配置为执行所述指令，以实现如第一方面所述的方法。
[0022]第五方面，提供一种计算机可读存储介质，当所述存储介质中的指令由电子设备的处理器执行时，使得电子设备能够执行如第一方面所述的方法。
[0023]本说明书实施例的方案，通过将待共享的数据存储在能够被多方共享的共享目录下，然后，在使用方需要进行数据处理时，创建一个云环境的用于进行数据处理的应用程序，将应用程序的存储目录挂载到共享目录上，并通过容器服务集群中的容器来运行应用程序，这样就能够将应用程序在运行过程中对存储目录的访问操作映射到存放共享数据的目录上，这样，应用程序在运行过程中通过访问其存储目录便可获取到目标数据并对待共享数据进行处理，使得应用程序能够像在本地一样对共享数据进行处理，而无需将共享数据下载到本地，尤其在共享数据需要经不同使用方进行处理时，能够避免共享数据被重复下载，从而提高数据处理效率，降低数据处理成本。
附图说明
[0024]此处所说明的附图用来提供对本说明书的进一步理解，构成本说明书的一部分，本说明书的示意性实施例及其说明用于解释本说明书，并不构成对本说明书的不当限定。在附图中：
[0025]图1为本说明书的一个实施例提供的一种数据处理方法所适用的实施环境的示意图；
[0026]图2为本说明书的一个实施例提供的一种数据处理方法的流程示意图；
[0027]图3为本说明书的一个实施例提供的一种数据处理装置的结构示意图；
[0028]图4为本说明书的一个实施例提供的一种电子设备的结构示意图。
具体实施方式
[0029]为使本说明书的目的、技术方案和优点更加清楚，下面将结合本说明书具体实施例及相应的附图对本说明书技术方案进行清楚、完整地描述。显然，所描述的实施例仅是本说明书一部分实施例，而不是全部的实施例。基于本说明书中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都应当属于本文件保护的范围。
[0030]本申请的说明书和权利要求书中的术语“第一”、“第二”等是用于区别类似的对象，而不用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便本申请的实施例能够以除了在这里图示或描述的那些以外的顺序实施。此外，说明
书以及权利要求中“和/或”表示所连接对象的至少其中之一，字符“/”，一般表示前后关联对象是一种“或”的关系。
[0031]如前所述，在一些业务场景下，比如对于机器学习模型的训练，传统的数据处理方案通常需要由使用方将所需的数据下载到本机，然后根据业务需求对所需的数据进行相应的数据处理操作。但是，如果上述数据需要经过不同的使用方进行相应处理，那么，同一份数据就需要被不同的使用方重复下载，这不仅降低了处理效率，还增加了处理成本。
[0032]为此，本说明书实施例旨在提供一种数据处理方案，通过将待共享的数据存储在能够被多方共享的共享目录下，然后，在使用方需要进行数据处理时，创建一个云环境的用于进行数据处理的应用程序，将应用程序的存储目录挂载到共享目录上，并通过容器服务集群中的容器来运行应用程序，这样就能够将应用程序在运行过程中对存储目录的操作映射到存放共享数据的目录上，使得应用程序能够像在本地一样对共享数据进行处理，而无需将共享数据下载到本地，尤其在共享数据需要经不同使用方进行处理时，能够避免共享数据被重复下载，从而提高数据处理效率，降低数据处理成本。
[0033]以下结合附图，详细说明本说明书各实施例提供的技术方案。
[0034]为便于理解，首先结合图1对本说明书的一个实施例提供的一种数据处理方法所适用的实施环境进行说明。如图1所示，本说明书实施例的一种数据处理方法所适用的实施环境可包括管理控制平台本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种数据处理方法，其特征在于，包括：接收针对目标数据的处理请求，所述处理请求中携带对所述目标数据进行处理所需的处理配置参数；基于所述处理配置参数，创建用于处理所述目标数据的应用程序；将所述应用程序的存储目录挂载到存放所述目标数据的共享目录上，所述应用程序在运行过程中对所述存储目录的访问操作被映射到所述共享目录上；在容器服务集群中创建容器并在所述容器中运行所述应用程序，其中，所述应用程序在运行过程中通过访问所述存储目录获取所述目标数据并进行处理。2.根据权利要求1所述的方法，其特征在于，所述将所述应用程序的存储目录挂载到存放所述目标数据的共享目录上，包括：获取与存放所述目标数据的共享目录绑定的存储申明；将所述应用程序的存储目录挂载到所述存储申明上。3.根据权利要求2所述的方法，其特征在于，在接收针对目标数据的处理请求之前，所述方法还包括：接收针对所述目标数据的共享请求，所述共享请求用于请求在不同使用方之间共享所述目标数据；在云存储平台中为所述目标数据分配相应的共享目录，并将所述目标数据存储至所述共享目录下；创建存储申明，并将所创建的存储申明与所述共享目录进行绑定。4.根据权利要求3所述的方法，其特征在于，在将所述目标数据存储至所述共享目录下之后，所述方法还包括：生成所述目标数据与所述共享目录之间的对应关系信息；向所述共享请求的发起方返回所述对应关系信息。5.根据权利要求1所述的方法，其特征在于，在所述在容器服务集群中创建容器并在所述容器中运行所述应用程序之后，所述方法还包括：从所述应用程序的存储目录中加载对所述目标数据进行处理所得的处理结果；将所述处理结果存储至所述共享目录下。6.根据权利要求5所述的方法，其特征在于，在将所述处理结果存储至所述共享目录下之前，所述方法还包括：基于所述处理结果，确定所述目标数据是否被修改；所述将所述处理结果存储至所述共享目录下，包括：如果所述目标数据被修改，则将修改后的所述目标数据覆盖存储至所述共享目录下。7.根据权利要求1至6中任一项所述的方法，其特征在于，所述目标数据包括语料数据和/或机器学习模型，所述处理配置参数为用于利用所述目标数据进行模型训练的训练脚本。8.一种数据处理系统，其特征在于，包括：管理控制平台...

【专利技术属性】
技术研发人员：张伟，吴海英，权圣，蒋宁，王洪斌，李云彬，韩卫强，
申请(专利权)人：马上消费金融股份有限公司，
类型：发明
国别省市：