一种基于哈夫曼树群的接口数据结构分析调整方法技术

本发明专利技术属于数据处理技术领域，尤其涉及一种基于哈夫曼树群的接口数据结构分析调整方法，包括：采集被采集系统和采集系统的数据字段，一个作为哈夫曼树的子节点，另一个作为哈夫曼树的根节点，从而确定一个哈夫曼树，在确定若干个哈夫曼树后则集合成一个哈夫曼树群，并存储至磁盘中，后实施哈夫曼树的演进，在演进过程中出现被采集系统想要命中哈夫曼树的节点时未检索带匹配的字段的情况，则生成日志记录，并周期性提取及发出报警提醒。本发明专利技术能够解决现有技术中对非结构数据进行采集和频次分析成为影响业务系统发展的问题。次分析成为影响业务系统发展的问题。次分析成为影响业务系统发展的问题。

【技术实现步骤摘要】
一种基于哈夫曼树群的接口数据结构分析调整方法


[0001]本专利技术属于数据处理
，尤其涉及一种基于哈夫曼树群的接口数据结构分析调整方法。

技术介绍

[0002]目前，业务系统是基于接口形式的系统监控，在各业务系统中，进行数据埋点的数据结构组成非结构化数据，而由于在监控系统中所需要的请求报文结构为结构化字段，因此，当监控系统接收各业务系统埋点数据时需要考虑将各业务系统的报文进行转化，从而解决数据上的差异。
[0003]在现有技术中，各业务系统在埋点开发时存在许多不确定因素，其中包括埋点数据出现频率高低不定、报文结构变化复杂等情况。因此，在整个业务系统埋点开发过程中，需要投入大量的人力和精力投入，并且存在长周期的维护，极大影响了各业务系统的发展。

技术实现思路

[0004]本专利技术所解决的技术问题在于提供一种基于哈夫曼树的接口数据结构分析调整方法，以解决现有技术中对非结构数据进行采集和频次分析成为影响业务系统发展的问题。
[0005]本专利技术提供的基础方案：一种基于哈夫曼树群的接口数据结构分析调整方法，包括：
[0006]构建哈夫曼树，将采集系统的数据字段定义为根节点，将被采集系统的数据字段定义为子节点，初始化数据字段，构建若干个哈夫曼树，并将若干个哈夫曼树组成集合，形成哈夫曼树群；
[0007]哈夫曼树群结构存储，将构建好的哈夫曼树群缓存在源系统内存中，并周期性持久化哈夫曼树群结构至磁盘中；
[0008]哈夫曼树结构的演进，若被采集系统请求命中哈夫曼树节点字段时，无法检索到匹配节点的数据字段，则将被采集系统信息进行日志记录；
[0009]未匹配数据字段报警处理，在哈夫曼树结构演进过程中记录的未匹配的日志记录进行周期性调取，并在出现新增日志记录时发出报警提示。
[0010]本专利技术的原理及优点在于：首先采集被采集系统和采集系统的数据字段，一个作为哈夫曼树的子节点，另一个作为哈夫曼树的根节点，从而确定一个哈夫曼树，在确定若干个哈夫曼树后则集合成一个哈夫曼树群，并存储至磁盘中，后实施哈夫曼树的演进，在演进过程中出现被采集系统想要命中哈夫曼树的节点时未检索带匹配的字段的情况，则生成日志记录，并周期性提取及发出报警提醒。因此，本专利技术的优点在于：(1)构建哈夫曼树时通过自动采集的方式采集所需的数据字段，采集方式处于相对稳定的状态，因此在采集过程中不需要对哈夫曼树进行调整；(2)在哈夫曼树的演进过程中采用自动检索的方式，最大程度减少了采集系统对接被采集系统接口的人工介入成本，大幅度降低了研发成本；(3)通过上
述两个优点，解决了现有技术对非结构数据进行采集和频次分析会成为影响被采集系统发展的问题。
[0011]进一步，在构建哈夫曼树中还包括：
[0012]权重数据采集，包括获取采集系统和被采集系统的权重数据；
[0013]初始化哈夫曼树，包括初始化采集系统和被采集系统的数据字段和权重数据，确定一个哈夫曼树。
[0014]有益效果：通过权重数据采集步骤将采集系统和被采集系统的权重数据采集到后，进行初始化哈夫曼树，最后得到一个数据接口传输的哈夫曼树，有利于哈夫曼树的形成。
[0015]进一步，在权重数据采集中还包括：
[0016]用户预置获取，接收用户输入或者接收用户设置的权重数据，并配置到数据库中；
[0017]系统采集，包括采集系统在采集过程中自动进行数据权重创建和调整。
[0018]有益效果：权重数据获取从用户预置和系统两个方面得到，既有数据手动获取，又有数据自动获取，满足了数据来源以及数据传输的丰富性。
[0019]进一步，在初始化哈夫曼树中还包括：
[0020]空值处理，包括若被采集系统中无权重数据，则采集系统和被采集系统的数据字段和权重数据被初始化成一个空的哈夫曼树；
[0021]权重数据处理，包括若采集系统和被采集系统中存在权重数据，则选择权重数据的一个节点作为初始化节点，确定一个哈夫曼树。
[0022]有益效果：通过将采集数据中无权重数据的字段进行初始化处理，将采集数据中有权重数据的字段成为哈夫曼树的一个节点，避免哈夫曼树演进过程中初始化预置无权重数据，利于哈夫曼树结构的演进。
[0023]进一步，哈夫曼树结构的演进中还包括：
[0024]哈夫曼树结构优化，包括基于日志记录对数据字段进行初始化权重干预，重新构建哈夫曼树，对该节点的权重数据加1，并检查此时哈夫曼树结构是否需要调整。
[0025]有益效果：在哈夫曼树的特征下，对哈夫曼树出现字段命中请求不匹配的情况进行优化，在最坏的情况下字段的命中时间复杂度为0(logN)；通常情况下系统对于相同字段的权重基本稳定，命中时间复杂度为1，这样通过改变节点的权重数据，将其命中时间复杂度加1处理，使得哈夫曼树的结构保持稳定。
[0026]进一步，所述哈夫曼树结构的演进中所述被采集系统信息包括数据字段、被采集系统名称以及请求接口信息。
[0027]有益效果：将被采集系统的数据字段、系统名称以及请求接口信息展示给用户，方便用户对未匹配信息进行全面了解。
[0028]进一步，所述未匹配数据字段报警处理中报警提示的方式为钉钉消息提示或者邮件提示中的一种或多种。
[0029]有益效果：通过钉钉或者邮件能够做到及时提醒用户的作用。
附图说明
[0030]图1为本专利技术实施例的流程框图；
[0031]图2为本专利技术实施例的流程示意图。
具体实施方式
[0032]应当理解，此处所描述的具体实施例仅仅用以解释本专利技术，并不用于限定本专利技术，同时，虽然在实施例中示出了逻辑顺序，但是在某些情况下，可以以不同于此处的顺序执行所示出或所描述的步骤。
[0033]下面通过具体实施方式进一步详细说明：
[0034]实施例基本如附图1和图2所示：一种基于哈夫曼树群的接口数据结构分析调整方法，应用于基于接口形式的采集系统和被采集系统间的数据字段和数据权重分析，具体为，在业务系统和其基于接口形式连接的监控系统之间进行数据字段转化时，业务系统作为被采集系统，监控系统作为采集系统，监控系统所需要的数据字段为结构化字段，而业务系统进行埋点的数据结构组成的是非结构化字段，为了解决监控系统和业务系统在数据上的差异，在监控系统接收业务系统埋点数据时要将业务系统的非结构化字段转化成结构化字段，因此，本专利技术中采用通过构建基于哈夫曼树群的报文结构优化方式来解决上述问题。
[0035]步骤一，构建哈夫曼树，将采集系统的数据字段定义为根节点，将被采集系统的数据字段定义为子节点，初始化数据字段，构建若干个哈夫曼树，并将若干个哈夫曼树组成集合，形成哈夫曼树群，具体为，首先获取采集系统和被采集系统的权重数据，即监控系统和业务系统的权重数据，获取方式有两种，第一种为接收用户输入或者接收用户设置的权重数据，并配置到数据库中；在本实施例中，通过系统接收用户主动操作的方式首先加入一批数据样本，选取权重较本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于哈夫曼树群的接口数据结构分析调整方法，其特征在于：包括：构建哈夫曼树，将采集系统的数据字段定义为根节点，将被采集系统的数据字段定义为子节点，初始化数据字段，构建若干个哈夫曼树，并将若干个哈夫曼树组成集合，形成哈夫曼树群；哈夫曼树群结构存储，将构建好的哈夫曼树群缓存在源系统内存中，并周期性持久化哈夫曼树群结构至磁盘中；哈夫曼树结构的演进，若被采集系统请求命中哈夫曼树节点字段时，无法检索到匹配节点的数据字段，则将被采集系统信息进行日志记录；未匹配数据字段报警处理，在哈夫曼树结构演进过程中记录的未匹配的日志记录进行周期性调取，并在出现新增日志记录时发出报警提示。2.根据权利要求1所述的一种基于哈夫曼树群的接口数据结构分析调整方法，其特征在于：在构建哈夫曼树中还包括：权重数据采集，包括获取采集系统和被采集系统的权重数据；初始化哈夫曼树，包括初始化采集系统和被采集系统的数据字段和权重数据，确定一个哈夫曼树。3.根据权利要求2所述的一种基于哈夫曼树群的接口数据结构分析调整方法，其特征在于：在权重数据采集中还包括：用户预置获取，接收用户输入或者接收用户设置的权重数据，并配置到数据库中...

【专利技术属性】
技术研发人员：王茂，徐杨，宋庆伟，
申请(专利权)人：重庆富民银行股份有限公司，
类型：发明
国别省市：