一种数据解析方法及系统技术方案

本发明专利技术公开了一种数据解析方法及系统。该数据解析方法，包括：获取待解析数据；对所述待解析数据进行分析，获取所述待解析数据的数据结构；根据所述数据结构从配置文件存储库中读取与所述数据结构对应的配置文件，所述配置文件存储库中存有数据结构和配置文件的对应关系；根据所述配置文件对所述待解析数据进行解析，获取数据解析结果。本发明专利技术通过将用于解析处理的配置文件预存入配置文件库中，并通过数据结构来获取与待解析数据对应的配置文件，以达到通过工具解析待解析数据的目的，而无需将待解析数据发送给开发人员来进行人工解析，具有提高解析效率和精度、降低解析成本的优点。

Data analysis method and system

The invention discloses a method and a system for analyzing data. The data analysis method: analytical data acquisition to be analyzed; analytical data on the data structure, obtaining the data to be analyzed; according to the structure of data read from a configuration file in the repository and the data structure corresponding to the configuration file, the corresponding relation between the configuration file repository are stored in the data structure and configuration files; according to the configuration file for the analysis of data analysis, data analysis results. The configuration file for pre stored in the configuration file parsing library, and through the data structure and to be analyzed to obtain data corresponding to the configuration file, to achieve the purpose of data analysis tools for parsing, without the need to parse the data sent to the developers to carry out the artificial analysis, can improve the analytical efficiency and the precision and reduce the cost advantages of analytical.

【技术实现步骤摘要】

本专利技术涉及数据分析
，具体涉及一种数据解析方法及系统。
技术介绍
随着通信技术的不断发展，“数据”作为信息的载体越来越凸显出它的重要性。由于行业要求、技术特点、性能需求、多方合作、接口定义等等各方面的因素，“数据”也被赋予了不同的结构特征以满足不同的需要。当系统出现问题时，一般采用的是人工对问题产生期间的通信数据进行解析，以便分析问题产生的原因并提供解决问题的基本思路。由于数据的多样性和复杂性以及数据量的庞大，使得人工处理的成本在不断上升的同时，效率却不断下降。目前对数据的解析没有一套通用简单的方法，当需要对数据进行解析时，主要通过落地保存的数据文件或者利用网络抓包工具抓取的网络格式的数据人工进行解析，这样的处理方法存在以下缺陷：1、解析门槛高。数据结构面向的是接口开发人员，而现场的工程人员大部分对于开发不了解，更不用说数据结构的定义了，基本上处理方式是把现场现象描述连同现场数据一同交由开发人员分析。2、解析难度大。在由现场的工程人员向开发人员转述现场情况的过程中，极有可能由于工作经验和表述能力的不同，对真实情况产生一定的误差，这也加重了开发人员分析问题的难度。开发人员拿到待解析的数据时，需要根据数据接口结构的定义人工的逐一核对解析，此过程很有可能出现人工的错误可能，一旦出现这种情况，将增大解析的难度甚至误导问题分析。3、解析成本高。人工解析多种结构的数据，耗时、费力，对于特殊的行业，紧急情况发生时，解析数据，定位、解决问题的时间要求很苛刻，对于维护支持方的压力是巨大。虽然有的开发方针对自己的数据特点开发了一些解析工具，但在信息化的时代，多方协作，做种数据结构并存，这些工具应用的局限性很大。而且根据实际需要数据结构的变更调整也是时常发生，对于这些解析工具的维护成本将是一笔不小的开支，而且工具的跟进需要开发人员修改代码以适应新的结构要求也必然导致工具跟进不及时，此时就只能回归到人工解析的方法了。
技术实现思路
针对现有技术中的缺陷，本专利技术提供了一种数据解析方法及系统，该方法能快速、有效的解析数据，从而轻松、高效的定位并解决问题。本专利技术提出了一种数据解析方法，包括：获取待解析数据；对所述待解析数据进行分析，获取所述待解析数据的数据结构；根据所述数据结构从配置文件存储库中获取与所述数据结构对应的配置文件，所述配置文件存储库中存有数据结构和配置文件的对应关系；根据所述配置文件对所述待解析数据进行解析，获取数据解析结果。可选的，所述获取待解析数据包括：获取可导入落地保存的数据文件作为待解析数据；或者，读取网络抓取的数据以及日志中记录的文本数据作为待解析数据。可选的，在根据所述数据结构在配置文件存储库中读取与所述数据结构对应的配置文件之前，还包括：根据所述数据结构，对所述数据结构对应的待解析数据设置配置文件；对所述配置文件进行加密处理并存入所述配置文件库中；其中，配置文件中存有用于解析数据的处理逻辑。可选的，在获取数据解析结果之后，还包括：展示与待解析数据对应的配置文件中的处理逻辑、待解析数据以及解析数据结果。可选的，还包括：根据所述配置文件中的处理逻辑，对解析结果进行校验，判断所述解析结果是否符合处理逻辑，若不符合，则展示解析错误的原因。本专利技术还提出了一种数据解析系统，包括：第一获取模块，用于获取待解析数据；数据分析模块，用于对所述待解析数据进行分析，获取所述待解析数据的数据结构；第二获取模块，用于根据所述数据结构从配置文件存储库中获取与所述数据结构对应的配置文件，所述配置文件存储库中存有数据结构和配置文件的对应关系；数据解析模块，用于根据所述配置文件对所述待解析数据进行解析，获取数据解析结果。可选的，所述第一获取模块还用于：获取可导入落地保存的数据文件作为待解析数据；或者，读取网络抓取的数据以及日志中记录的文本数据作为待解析数据。可选的，还包括：数据配置模块，用于在根据所述数据结构在配置文件存储库中读取与所述数据结构对应的配置文件之前，根据所述数据结构，对所述数据结构对应的待解析数据设置配置文件；对所述配置文件进行加密处理并存入所述配置文件库中；其中，配置文件中存有用于解析数据的处理逻辑。可选的，还包括：数据展示模块，用于在获取数据解析结果之后，展示与待解析数据对应的配置文件中的处理逻辑、待解析数据以及解析数据结果。可选的，还包括：数据校验模块，用于根据所述配置文件中的处理逻辑，对解析结果进行校验，判断所述解析结果是否符合处理逻辑，若不符合，则展示解析错误的原因。由上述技术方案可知，本专利技术提出的一种数据解析方法通过将用于解析处理的配置文件预存入配置文件库中，并通过数据结构来获取与待解析数据对应的配置文件，以达到通过工具将待解析数据解析出来的目的，而无需将待解析数据发送给开发人员来进行人工解析，具有提高解析效率和精度、降低解析成本的优点。附图说明通过参考附图会更加清楚的理解本专利技术的特征和优点，附图是示意性的而不应理解为对本专利技术进行任何限制，在附图中：图1示出了本专利技术一实施例提出的一种数据解析方法的流程示意图；图2示出了本专利技术另一实施例提出的一种数据解析方法的流程示意图；图3示出了本专利技术一实施例提出的一种数据解析方法的工作原理图；图4示出了本专利技术一实施例提出的一种数据解析系统的结构示意图；图5示出了本专利技术另一实施例提出的一种数据解析系统的结构示意图。具体实施方式为使本专利技术实施例的目的、技术方案和优点更加清楚，下面将结合本专利技术实施例中的附图，对本专利技术实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本专利技术的一部分实施例，而不是全部的实施例。基于本专利技术中的实施例，本领域普通技术人员在没有做出创造性劳动的前提下所获得的所有其他实施例，都属于本专利技术保护的范围。图1为本专利技术一实施例提出的一种数据解析方法的流程示意图，参照图1，一种数据解析方法包括：101、获取待解析数据；可理解的是，获取的待解析数据的类型与行业有关，例如，报文等；获取的待解析数据的方式也有多种，例如，直接导入，从网络或者数据库中抓取。102、对所本文档来自技高网...

【技术保护点】
一种数据解析方法，其特征在于，包括：获取待解析数据；对所述待解析数据进行分析，获取所述待解析数据的数据结构；根据所述数据结构从配置文件存储库中获取与所述数据结构对应的配置文件，所述配置文件存储库中存有数据结构和配置文件的对应关系；根据所述配置文件对所述待解析数据进行解析，获取数据解析结果。

【技术特征摘要】
1.一种数据解析方法，其特征在于，包括：
获取待解析数据；
对所述待解析数据进行分析，获取所述待解析数据的数据结构；
根据所述数据结构从配置文件存储库中获取与所述数据结构对
应的配置文件，所述配置文件存储库中存有数据结构和配置文件的对
应关系；
根据所述配置文件对所述待解析数据进行解析，获取数据解析结
果。
2.根据权利要求1所述的方法，其特征在于，所述获取待解析数
据包括：
获取可导入落地保存的数据文件作为待解析数据；
或者，
读取网络抓取的数据以及日志中记录的文本数据作为待解析数
据。
3.根据权利要求1所述的方法，其特征在于，在根据所述数据结
构在配置文件存储库中读取与所述数据结构对应的配置文件之前，还
包括：
根据所述数据结构，对所述数据结构对应的待解析数据设置配置
文件；
对所述配置文件进行加密处理并存入所述配置文件库中；
其中，配置文件中存有用于解析数据的处理逻辑。
4.根据权利要求3所述的方法，其特征在于，在获取数据解析结
果之后，还包括：
展示与待解析数据对应的配置文件中的处理逻辑、待解析数据以
及解析数据结果。
5.根据权利要求3所述的方法，其特征在于，还包括：
根据所述配置文件中的处理逻辑，对解析结果进行校验，判断所
述解析结果是否符合处理逻辑，若不符合，则展示解析错误的原因。
6.一种数据解析系统，其特征在于，包括：
第一获取模块，用...

【专利技术属性】
技术研发人员：郜春海，刘波，
申请(专利权)人：北京交控科技股份有限公司，
类型：发明
国别省市：北京;11