一种数据解析处理设备及方法技术

本发明专利技术公开了数据处理领域的一种数据解析处理设备及方法，包括数据接收模块、数据预处理模块、数据解析模块、数据储存模块和数据传输模块，数据传输模块将源数据进行传输，并通过数据接口接收待解析处理的源数据；数据预处理模块根据数据的编码规则并建立过滤规则对源数据进行过滤提取；通过解析算法生成模块生成的数据解析算法对预处理后的源数据进行解析；将解析后的源数据储存到结果数据库中，并将解析结果通过数据储存模块传输到外部终端，该一种数据解析处理设备及方法,通过解析算法生成模块根据数据类型结构进行分类标签，并生成不同的解析算法，无需重新撰写不同的解析器，数据解析迅速简便，解析效率高。解析效率高。

【技术实现步骤摘要】
一种数据解析处理设备及方法


[0001]本专利技术涉及数据处理
，具体为一种数据解析处理设备及方法。

技术介绍

[0002]在网络通信过程中需要传输数据，常用的数据格式有两种：JSON、XML。Cocos2d
‑
x对JSON和XML这两种数据格式的解析提供了支持，主要为：JOSN数据解析、XML数据解析。JOSN数据解析的过程为：首先创建JSON文件，然后在类中包含document.h和cocos
‑
ext.h头文件，接着通过FileUtils获得JSON文件路径，并通过Document对象解析JSON数据，最终获得不同类型的数据值。XML数据解析的过程为：首先创建XML文件，接着在类中包含头文件并使用命名文件，然后获得XML文件全路径，并加载XML文件，最后获得元素并解析，Cocos2d
‑
x可以开发游戏，它提供了多种网络连接方式，即时通信Socket、WebSocket、基于http的HttpCline、curl等等。在网络通信过程中，需要传输数据，常用的数据格式有两种，一种是JSON，另外一种是XML，Cocos2d
‑
x对这些数据格式的解析提供了支持，主要为：JOSN数据解析、XML数据解析，JSON是一种轻量级的数据交换格式。它使得人们可以很容易地进行阅读和编写，同时也方便了机器进行解析和生成。JSON采用完全独立于程序语言的文本格式，但是也使用了类C语言的习惯(包括C、C++、C#、Java、JavaScript、Perl和Python等)，这些特性使得JSON成为理想的数据交换语言，TinyXML是一个开源的解析XML的解析库，Cocos2d
‑
x集成了该库，在Cocos2d
‑
x项目的根目录的extemal/tinyxml2目录下面有该类的实现。TinyXML解析库通过解析XML文件，在内存中生成DOM模型。
[0003]现有的解析器需要针对不同的数据结构撰写不同的解析器，数据解析处理缓慢，解析效率低，且成本高，为此我们提出了一种数据解析处理设备及方法。

技术实现思路

[0004]本专利技术的目的在于提供一种数据解析处理设备及方法，以解决上述
技术介绍
中提出了现有的解析器需要针对不同的数据结构撰写不同的解析器，数据解析处理缓慢，解析效率低，且成本高的问题。
[0005]为实现上述目的，本专利技术提供如下技术方案：一种数据解析处理设备，包括数据接收模块、数据预处理模块、数据解析模块、数据储存模块和数据传输模块；
[0006]数据接收模块还包括有数据接口，数据接收模块用于接收源数据；
[0007]数据预处理模块用于根据源数据的编码规则并建立过滤规则对源数据进行过滤提取；
[0008]数据解析模块还包括解析算法生成模块，数据解析模块用于对预处理后的数据进行解析，并输出数据解析结果，解析算法生成模块用于生成数据解析算法；
[0009]数据储存模块用于将数据解析结果储存到结果数据库中；
[0010]数据传输模块用于与外部终端进行通信传输。
[0011]本专利技术还提供一种数据解析处理方法，包括如下步骤：
[0012]S1:数据传输模块将源数据进行传输，并通过数据接口接收待解析处理的源数据；
[0013]S2:数据预处理模块根据数据的编码规则并建立过滤规则对源数据进行过滤提取；
[0014]S3:通过解析算法生成模块生成的数据解析算法对预处理后的源数据进行解析；
[0015]S4:将解析后的源数据储存到结果数据库中，并将解析结果通过数据储存模块传输到外部终端。
[0016]优选的，所述S2中对源数据进行过滤提取具体为根据过滤规则中定义的字段对应的数据，所述过滤规则用于描述需要解析并输出结果的所有字段。
[0017]优选的，所述S3中解析算法生成模块生成算法具体的是通过数据类型标签进行生成相应的算法，其中数据类型标签包括数据源ID和数据协议ID。
[0018]优选的，所述S3中还包括在解析算法生成模块生成的数据解析算法后对解析算法进行验证是否具有错误信息，若存在错误信息，则解析算法生成模块重新生成数据解析算法，然后再次进行验证，直至不产生错误信息。
[0019]与现有技术相比，本专利技术的有益效果是：该一种数据解析处理设备及方法，通过在采用数据接口接收终端所传输的源数据，通过数据预处理模块根据数据的编码规则并建立过滤规则对源数据进行过滤提取，通过解析算法生成模块根据数据类型结构进行分类标签，并生成不同的解析算法，无需重新撰写不同的解析器，数据解析迅速简便，解析效率高。
具体实施方式
[0020]下面将对本专利技术实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本专利技术一部分实施例，而不是全部的实施例。基于本专利技术中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本专利技术保护的范围。
[0021]本专利技术提供了一种数据解析处理设备，一种数据解析处理设备，包括数据接收模块、数据预处理模块、数据解析模块、数据储存模块和数据传输模块；
[0022]数据接收模块还包括有数据接口，数据接收模块用于接收源数据；
[0023]数据预处理模块用于根据源数据的编码规则并建立过滤规则对源数据进行过滤提取；
[0024]数据解析模块还包括解析算法生成模块，数据解析模块用于对预处理后的数据进行解析，并输出数据解析结果，解析算法生成模块用于生成数据解析算法；
[0025]数据储存模块用于将数据解析结果储存到结果数据库中；
[0026]数据传输模块用于与外部终端进行通信传输。
[0027]本专利技术还提供一种数据解析处理方法，包括如下步骤：
[0028]S1:数据传输模块将源数据进行传输，并通过数据接口接收待解析处理的源数据；
[0029]S2:数据预处理模块根据数据的编码规则并建立过滤规则对源数据进行过滤提取；
[0030]S3:通过解析算法生成模块生成的数据解析算法对预处理后的源数据进行解析；
[0031]S4:将解析后的源数据储存到结果数据库中，并将解析结果通过数据储存模块传输到外部终端。
[0032]其中，S2中对源数据进行过滤提取具体为根据过滤规则中定义的字段对应的数据，过滤规则用于描述需要解析并输出结果的所有字段。
[0033]其中，S3中解析算法生成模块生成算法具体的是通过数据类型标签进行生成相应的算法，其中数据类型标签包括数据源ID和数据协议ID。
[0034]其中，S3中还包括在解析算法生成模块生成的数据解析算法后对解析算法进行验证是否具有错误信息，若存在错误信息，则解析算法生成模块重新生成数据解析算法，然后再次进行验证，直至不产生错误信息。
[0035]综上所述，本专利技术通过在采用数据接口接收终端所传输的源数据，通过数据预处理模块根据数据的编码规则并建立过本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种数据解析处理设备，其特征在于：包括数据接收模块、数据预处理模块、数据解析模块、数据储存模块和数据传输模块；数据接收模块还包括有数据接口，数据接收模块用于接收源数据；数据预处理模块用于根据源数据的编码规则并建立过滤规则对源数据进行过滤提取；数据解析模块还包括解析算法生成模块，数据解析模块用于对预处理后的数据进行解析，并输出数据解析结果，解析算法生成模块用于生成数据解析算法；数据储存模块用于将数据解析结果储存到结果数据库中；数据传输模块用于与外部终端进行通信传输。2.一种数据解析处理方法，其特征在于：包括如下步骤：S1:数据传输模块将源数据进行传输，并通过数据接口接收待解析处理的源数据；S2:数据预处理模块根据数据的编码规则并建立过滤规则对源数据进行过滤提取；S3:通过解析算法生成模块生成的数据解析算法对预处理...

【专利技术属性】
技术研发人员：张洪岭，
申请(专利权)人：合肥长月科技有限公司，
类型：发明
国别省市：