网络云性能数据入库方法、装置及电子设备制造方法及图纸

技术编号:36390273 阅读:69 留言:0更新日期:2023-01-18 09:54
本发明专利技术提供一种网络云性能数据入库方法、装置及电子设备,该方法包括:获取待入库性能数据文件,确定待入库性能数据文件的文件标识;在基于待入库性能数据文件的文件标识以及缓存库中的文件标识,确定目标数据库中存有目标数据文件的情况下,将目标数据文件从目标数据库中删除后,再将待入库性能数据文件存入目标数据库;在基于待入库性能数据文件的文件标识以及缓存库中的文件标识,确定目标数据库中不存在目标数据文件的情况下,将待入库性能数据文件存入目标数据库,以及将待入库性能数据文件的文件标识存入缓存库。本发明专利技术用以能够避免将性能数据重复存入数据库中,进而实现性能数据快速和完整的入库。数据快速和完整的入库。数据快速和完整的入库。

【技术实现步骤摘要】
网络云性能数据入库方法、装置及电子设备


[0001]本专利技术涉及数据处理
,尤其涉及一种网络云性能数据入库方法、装置及电子设备。

技术介绍

[0002]随着网络功能虚拟化(NFV,Network FunctionVirtualization)技术的快速发展和普及,网络功能虚拟化技术被广泛运用在工业界和学术界,尤其是在通信研究领域中,网络功能虚拟化环境扮演着越来越重要的角色。网络功能虚拟化是指在传统的电信设备中,引入了虚拟机,实现电信应用与硬件的解耦,运营商可以实现硬件资源和网元功能的分开采购,对硬件资源、虚拟资源可以统一管理和调度。但是,传统电信设备的高可靠性、高性能是由电信厂商保证的。网络功能虚拟化之后,为了保证电信设备的高可靠性、高性能,如何进行故障定位,将是运营商面临的重大挑战。同时随着网络功能虚拟化云环境的广泛应用,大量企业级应用对网络功能虚拟化云环境的可靠性也提出了更高的要求,因此需要实现网络功能虚拟化的性能快速诊断和处理,以便快速响应支持企业应用的稳定性和连续性。
[0003]为了实现网络功能虚拟化的性能快速诊断和处理,需要加载网络云性能数据,目前,性能数据采用批处理进行加载方式以调高数据处理效率,当底层设备厂商上报数据中存在重复数据时,因存在重复数据,引发整批次任务无法加载成功,导致该批次的性能数据整体加载失败,最终影响性能数据完整度。因此,需要提供一种方法,能够避免将性能数据重复存入数据库中,进而实现性能数据快速和完整的入库。

技术实现思路

[0004]本专利技术提供一种网络云性能数据入库方法、装置及电子设备,用以能够避免将性能数据重复存入数据库中,进而实现性能数据快速和完整的入库。
[0005]本专利技术提供网络云性能数据入库方法,包括:
[0006]获取待入库性能数据文件,确定所述待入库性能数据文件的文件标识;
[0007]在基于所述待入库性能数据文件的文件标识以及缓存库中的文件标识,确定目标数据库中存有目标数据文件的情况下,将所述目标数据文件从所述目标数据库中删除后,再将所述待入库性能数据文件存入所述目标数据库;
[0008]在基于所述待入库性能数据文件的文件标识以及所述缓存库中的文件标识,确定所述目标数据库中不存在所述目标数据文件的情况下,将所述待入库性能数据文件存入所述目标数据库,以及将所述待入库性能数据文件的文件标识存入所述缓存库;
[0009]其中,所述目标性能文件为与所述待入库性能文件相同的文件。
[0010]根据本专利技术提供的网络云性能数据入库方法,所述获取待入库性能数据文件,包括:
[0011]接收操作支撑系统侧消息队列中的消息,基于所述消息队列中的消息生成目标文件格式的待入库性能数据文件。
[0012]根据本专利技术提供的网络云性能数据入库方法,所述基于所述消息队列中的消息生成目标文件格式的待入库性能数据文件,包括:
[0013]在所述消息队列中的消息为目标时段内的消息的情况下,对所述消息队列中的消息进行有效性确定;
[0014]在确定所述消息队列中的消息有效的情况下,基于所述消息队列中消息的文件列表,进行文件采集,基于所采集的文件生成目标文件格式的待入库性能数据文件。
[0015]根据本专利技术提供的网络云性能数据入库方法,所述基于所述消息队列中的消息生成目标文件格式的待入库性能数据文件,还包括:
[0016]在所述消息队列中的消息为目标时段外的消息的情况下,将所述消息队列的消息先移动至抑制队列中,在目标时段内的消息对应的待入库性能数据文件存入所述目标数据库后,再基于所述抑制队列中的消息生成目标文件格式的待入库性能数据文件。
[0017]根据本专利技术提供的网络云性能数据入库方法,所述确定所述待入库性能数据文件的文件标识,包括:
[0018]确定所述待入库性能数据文件对应的数据周期、网元类型、业务主键以及周期位置标识;
[0019]将所述数据周期、网元类型以及业务主键拼接成关键字段,将所述关键字段与所述周期位置标识以键值对的方式组成所述待入库性能数据文件的文件标识。
[0020]根据本专利技术提供的网络云性能数据入库方法,所述基于所述待入库性能数据文件的文件标识以及缓存库中的文件标识,确定目标数据库中存有目标数据文件,包括:
[0021]在所述待入库性能数据文件的文件标识中的关键字段与所述缓存库中目标文件标识的关键字段相同的情况下,将所述待入库性能数据文件的文件标识中的周期位置标识与所述目标文件标识的周期位置标识进行比对;
[0022]在所述待入库性能数据文件的文件标识中的周期位置标识与所述目标文件标识的周期位置标识相同的情况下,确定所述目标数据库中存在目标数据文件。
[0023]本专利技术还提供一种网络云性能数据入库装置,包括:
[0024]获取模块,用于获取待入库性能数据文件,确定所述待入库性能数据文件的文件标识;
[0025]第一存储模块,用于在基于所述待入库性能数据文件的文件标识以及缓存库中的文件标识,确定目标数据库中存有目标数据文件的情况下,将所述目标数据文件从所述目标数据库中删除后,再将所述待入库性能数据文件存入所述目标数据库;
[0026]第二存储模块,用于在基于所述待入库性能数据文件的文件标识以及所述缓存库中的文件标识,确定所述目标数据库中不存在所述目标数据文件的情况下,将所述待入库性能数据文件存入所述目标数据库,以及将所述待入库性能数据文件的文件标识存入所述缓存库;
[0027]其中,所述目标性能文件为与所述待入库性能文件相同的文件。
[0028]本专利技术还提供一种电子设备,包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序,所述处理器执行所述程序时实现如上述任一种所述网络云性能数据入库方法。
[0029]本专利技术还提供一种非暂态计算机可读存储介质,其上存储有计算机程序,该计算
机程序被处理器执行时实现如上述任一种所述网络云性能数据入库方法。
[0030]本专利技术还提供一种计算机程序产品,包括计算机程序,所述计算机程序被处理器执行时实现如上述任一种所述网络云性能数据入库方法。
[0031]本专利技术提供的网络云性能数据入库方法、装置及电子设备,通过待入库性能数据文件的文件标识,与缓存库中的文件标识进行比对,判断目标数据库中是否存在重复的性能数据文件,若目标数据库中存在重复的性能数据文件,则将目标数据库中重复的数据文件进行删除,再将待入库性能数据文件存入目标数据库,避免重复存储相同的数据文件,实现网络云性能数据快速和完整的入库。
附图说明
[0032]为了更清楚地说明本专利技术或现有技术中的技术方案,下面将对实施例或现有技术描述中所需要使用的附图作一简单地介绍,显而易见地,下面描述中的附图是本专利技术的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
[0033]图1是本专利技术提供的网络云性能数据入库方法本文档来自技高网
...

【技术保护点】

【技术特征摘要】
1.一种网络云性能数据入库方法,其特征在于,包括:获取待入库性能数据文件,确定所述待入库性能数据文件的文件标识;在基于所述待入库性能数据文件的文件标识以及缓存库中的文件标识,确定目标数据库中存有目标数据文件的情况下,将所述目标数据文件从所述目标数据库中删除后,再将所述待入库性能数据文件存入所述目标数据库;在基于所述待入库性能数据文件的文件标识以及所述缓存库中的文件标识,确定所述目标数据库中不存在所述目标数据文件的情况下,将所述待入库性能数据文件存入所述目标数据库,以及将所述待入库性能数据文件的文件标识存入所述缓存库;其中,所述目标性能文件为与所述待入库性能文件相同的文件。2.根据权利要求1所述的网络云性能数据入库方法,其特征在于,所述获取待入库性能数据文件,包括:接收操作支撑系统侧消息队列中的消息,基于所述消息队列中的消息生成目标文件格式的待入库性能数据文件。3.根据权利要求2所述的网络云性能数据入库方法,其特征在于,所述基于所述消息队列中的消息生成目标文件格式的待入库性能数据文件,包括:在所述消息队列中的消息为目标时段内的消息的情况下,对所述消息队列中的消息进行有效性确定;在确定所述消息队列中的消息有效的情况下,基于所述消息队列中消息的文件列表,进行文件采集,基于所采集的文件生成目标文件格式的待入库性能数据文件。4.根据权利要求3所述的网络云性能数据入库方法,其特征在于,所述基于所述消息队列中的消息生成目标文件格式的待入库性能数据文件,还包括:在所述消息队列中的消息为目标时段外的消息的情况下,将所述消息队列的消息先移动至抑制队列中,在目标时段内的消息对应的待入库性能数据文件存入所述目标数据库后,再基于所述抑制队列中的消息生成目标文件格式的待入库性能数据文件。5.根据权利要求1

4任一项所述的网络云性能数据入库方法,其特征在于,所述确定所述待入库性能数据文件的文件标识,包括:确定所述待入库性能数据文件对应的数据周期、网元类型、业务主键以及周期位置标识;将所述数据周期、网...

【专利技术属性】
技术研发人员:陈小超郑才华
申请(专利权)人:浪潮通信信息系统有限公司
类型:发明
国别省市:

网友询问留言 已有0条评论
  • 还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。

1