一种数据处理方法、装置、电子设备及存储介质制造方法及图纸

本申请提供一种数据处理方法、装置、电子设备及存储介质，应用于计算集群系统，计算集群系统包括多个计算节点，包括：通过计算节点获取待处理数据；根据计算节点对应的待处理数据，生成计算节点对应的配置文件，配置文件包括SQL语句；通过预设的解析器，对配置文件中的SQL语句进行解析，获得解析结果；根据每一计算节点对应的解析结果，获得数据处理结果。避免引入内存数据库，通过解析器进行简单SQL语法分析处理数据流，使得数据统计处理方法更简单有效。同时数据流不需要入库操作，降低了内存占用，以及提高了数据处理的效率。以及提高了数据处理的效率。以及提高了数据处理的效率。

【技术实现步骤摘要】
一种数据处理方法、装置、电子设备及存储介质


[0001]本申请涉及计算机
，具体而言，涉及一种数据处理方法、装置、电子设备及存储介质。

技术介绍

[0002]随着信息技术发展，网络通信领域数据量爆发式增长，数据的爆发对算力要求日益提高，同时，企业和用户对于计算实时性的要求也在增加。目前的数据流实时处理方式采用消息中间件分发数据，数据订阅方将信息存入数据库，再进行数据的处理，这种处理方式对系统配置要求高，且数据的处理效率较低。

技术实现思路

[0003]本专利技术实施例的目的在于一种数据处理方法、装置、电子设备及存储介质，通过对SQL语句的语法分析，实现数据的处理，无需将信息存入数据库，改善内存占用过高的问题，以及提高数据的处理效率。
[0004]第一方面，本申请实施例提供了一种数据处理方法，应用于计算集群系统，计算集群系统包括多个计算节点，包括：通过计算节点获取待处理数据；根据计算节点对应的待处理数据，生成计算节点对应的配置文件，配置文件包括SQL语句；通过预设的解析器，对配置文件中的SQL语句进行解析，获得解析结果；根据每一计算节点对应的解析结果，获得数据处理结果。
[0005]在上述的实现过程中，通过计算节点获取待处理数据，将待处理数据写入配置文件，配置文件包括SQL语句，通过预设的解析器对SQL语句进行解析，即通过SQL语句和SQL语句的语法分析，实现数据的处理，无需将信息存入数据库，改善内存占用过高的问题，以及提高数据的处理效率。
[0006]可选的，在本申请实施例中，通过预设的解析器，对配置文件中的SQL语句进行解析，获得解析结果，包括：加载配置文件，获得配置文件中的SQL语句；通过预设的解析器，根据SQL语句生成解析器实例；根据解析器实例，对SQL语句进行语法分析，获得解析结果。
[0007]在上述的实现过程中，通过预设的解析器，对SQL语句进行语法分析，获得解析结果。对数据的处理避免引入内存数据库后，通过解析器进行SQL语法分析处理数据流，更简单有效，同时也降低了内存占用。
[0008]可选的，在本申请实施例中，解析器包括分词器和语法分析器；对SQL语句进行语法分析，获得解析结果，包括：利用分词器对SQL语句进行标记，获得标识符；通过语法分析器，根据标识符对SQL语句进行动作关联分析和语法关联分析，获得解析结果。
[0009]在上述的实现过程中，通过分词器对SQL语句进行标记，以及通过语法分析器分别对SQL语句动作关联分析和语法关联分析，获得解析结果，提高数据处理的稳定性和效率。
[0010]可选的，在本申请实施例中，通过计算节点获取待处理数据，包括：通过计算节点调用接收函数创建第一套接字指针；第一套接字指针用于接收待处理数据；根据第一套接
字指针，从数据分发服务器中获取待处理数据。
[0011]在上述的实现过程中，通过计算节点调用接收函数创建第一套接字指针，以使数据分发服务器建立连接，实现计算节点接收到数据分发服务器端发送的待处理数据。
[0012]可选的，在本申请实施例中，根据第一套接字指针，从数据分发服务器中获取待处理数据，包括：通过计算节点向数据分发服务器发送连接请求，获得连接结果；连接结果为数据分发服务器通过调用接口函数创建上下文指针和第二套接字指针，并根据上下文指针和第二套接字指针接收计算节点发送的连接请求，对连接请求进行处理后获得的；若连接结果表征连接成功，则通过第一套接字指针，从数据分发服务器中获取待处理数据。
[0013]在上述的实现过程中，通过计算节点向数据分发服务器发送连接请求，通过数据分发服务器监听计算节点的连接请求，完成计算节点和数据分发服务器的链接，以使计算节点接收到数据分发服务器分发的待处理数据。
[0014]可选的，在本申请实施例中，计算节点包括第一计算节点和第二计算节点；在根据每一计算节点对应的解析结果，获得数据处理结果之前，方法还包括：第一计算节点根据对应的配置文件，向第二计算节点发送节点连接请求；第二计算节点通过监听服务监听节点连接请求，并响应节点连接请求，以完成计算节点的连接。
[0015]在上述的实现过程中，通过第一计算节点和第二计算节点建立连接，连接成功的上级节点可以向下级节点发送数据，通过数据层层流转的方式，减小单个节点的负载，实现快速灵活的处理数据。
[0016]可选的，在本申请实施例中，根据每一计算节点对应的解析结果，获得数据处理结果，包括：根据每一计算节点的计算任务，对计算节点对应的解析结果进行合并，生成中间结果数据；对生成中间结果数据进行统计分析，获得数据处理结果。
[0017]在上述的实现过程中，根据业务配置，对解析结果进行分类，以及对每一种分类结果进行累加，定时生成最终统计信息，获得数据处理结果，实现灵活的处理数据实时计算统计任务。
[0018]第二方面，本申请实施例还提供了一种数据处理装置，包括：获取数据模块，用于通过计算节点获取待处理数据；配置文件生成模块，用于根据计算节点对应的待处理数据，生成计算节点对应的配置文件，配置文件包括SQL语句；解析模块，用于通过预设的解析器，对配置文件中的SQL语句进行解析，获得解析结果；汇总模块，用于根据每一计算节点对应的解析结果，获得数据处理结果。
[0019]第三方面，本申请实施例还提供了一种电子设备，包括：处理器和存储器，存储器存储有处理器可执行的机器可读指令，机器可读指令被处理器执行时执行如上面描述的方法。
[0020]第四方面，本申请实施例还提供了一种计算机可读存储介质，该计算机可读存储介质上存储有计算机程序，该计算机程序被处理器运行时执行上面描述的方法。
[0021]采用本申请提供数据处理方法、装置、电子设备及存储介质，在上述的实现过程中，根据配置文件可以灵活更改统计SQL语句，满足审计业务变化的多维度需求。避免引入内存数据库SQLite后，通过lemon解析器进行简单SQL语法分析处理数据流，使得数据统计处理方法更简单有效。同时数据流不需要入库操作，降低了内存占用，以及提高了数据处理的效率。
附图说明
[0022]为了更清楚地说明本申请实施例的技术方案，下面将对本申请实施例中所需要使用的附图作简单地介绍，应当理解，以下附图仅示出了本申请的某些实施例，因此不应被看作是对范围的限定，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他相关的附图。
[0023]图1为本申请实施例提供的一种数据处理方法的流程示意图；
[0024]图2为本申请实施例提供的数据实时计算方法的流程示意图；
[0025]图3为本申请实施例提供的一种数据处理装置的结构示意图；
[0026]图4为本申请实施例提供的电子设备的结构示意图。
具体实施方式
[0027]下面将结合附图对本申请技术方案的实施例进行详细的描述。以下实施例仅用于更加清楚地说明本申请的技术方案，因此只作为示例，而不能以此来限制本申请的本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种数据处理方法，其特征在于，应用于计算集群系统，所述计算集群系统包括多个计算节点，包括：通过所述计算节点获取待处理数据；根据所述计算节点对应的待处理数据，生成所述计算节点对应的配置文件，所述配置文件包括SQL语句；通过预设的解析器，对所述配置文件中的SQL语句进行解析，获得解析结果；根据每一所述计算节点对应的解析结果，获得数据处理结果。2.根据权利要求1所述的方法，其特征在于，所述通过预设的解析器，对所述配置文件中的SQL语句进行解析，获得解析结果，包括：加载所述配置文件，获得所述配置文件中的SQL语句；通过所述预设的解析器，根据所述SQL语句生成解析器实例；根据所述解析器实例，对所述SQL语句进行语法分析，获得所述解析结果。3.根据权利要求2所述的方法，其特征在于，所述解析器包括分词器和语法分析器；对所述SQL语句进行语法分析，获得所述解析结果，包括：利用所述分词器对所述SQL语句进行标记，获得标识符；通过所述语法分析器，根据所述标识符对所述SQL语句进行动作关联分析和语法关联分析，获得所述解析结果。4.根据权利要求1所述的方法，其特征在于，通过所述计算节点获取待处理数据，包括：通过所述计算节点调用接收函数创建第一套接字指针；所述第一套接字指针用于接收所述待处理数据；根据所述第一套接字指针，从数据分发服务器中获取所述待处理数据。5.根据权利要求4所述的方法，其特征在于，根据所述第一套接字指针，从数据分发服务器中获取所述待处理数据，包括：通过所述计算节点向所述数据分发服务器发送连接请求，获得连接结果；所述连接结果为所述数据分发服务器通过调用接口函数创建上下文指针和第二套接字指针，并根据所述上下文指针和所述第二套接字指针接收所述计算节点发送的连接请求，对所述连接请求...

【专利技术属性】
技术研发人员：魏志洲，
申请(专利权)人：北京天融信科技有限公司北京天融信软件有限公司，
类型：发明
国别省市：