【技术实现步骤摘要】
本专利技术涉及数据归一化领域，特别是涉及一种多数据源的数据归一化方法、电子设备及存储介质。
技术介绍
1、在民航领域，民航管理平台为了实时监测航班的动态或者用户的行程事件信息，通常会接收多个不同的数据源所推送的数据流，然后对每一数据源推送的每一数据流进行处理，以实现对航班或者用户行程的信息监测；然而，对于不同数据源而言，所采用的数据格式以及字段的命名可能都是不同的，如果业务端直接使用每一数据源推送的数据流，则需要针对不同的数据源开发对应的解析规则，对相应的数据进行解析，从而会导致数据的解析非常的繁琐，数据的处理效率较低。
技术实现思路
1、针对上述技术问题，本专利技术采用的技术方案为：
2、根据本申请的第一方面，提供了一种多数据源的数据归一化方法，所述方法包括以下步骤：
3、s100，获取每一预设的融合工程对应的每一目标字段，以得到目标字段列表集a=（a1，a2，…，ai，…，an），i=1，2，…，n；其中，ai为第i个融合工程对应的目标字段列表，n为预设的融合工程的数量；ai=（ai，1，ai，2，…，ai，j，…，ai，f（i）），j=1，2，…，f（i）；ai，j为第i个融合工程对应的第j个目标字段，f（i）为第i个融合工程对应的目标字段的数量；目标字段用于为融合工程提供对应的字段值。
4、s200，对a进行去重处理，以得到指定字段列表b=（b1，b2，…，bk，…，bm），k=1，2，…，m；其中，bk为对a进行去重处理得到的第k个指定
5、s300，获取每一数据源发送的原始报文；其中，每一原始报文包括若干原始字段，每一原始字段对应有字段值。
6、s400，根据b，获取每一原始报文对应的目标原始字段，以得到目标原始字段列表集c=（c1，c2，…，cr，…，cs），r=1，2，…，s；其中，cr为第r个数据源发送的原始报文对应的目标原始字段列表，s为数据源的数量；cr=（cr，1，cr，2，…，cr，p，…,cr，g（r）），p=1，2，…，g（r）；cr，p为第r个数据源发送的原始报文对应的目标原始字段列表中的第p个目标原始字段，g（r）为第r个数据源发送的原始报文对应的目标原始字段的数量；cr，p对应于b中的一个指定字段。
7、s500，根据预设的归一化规则，将c中的每一目标原始字段转换为对应的标准字段，以得到c对应的标准字段列表集d=（d1，d2，…，dr，…，ds）；其中，dr为cr对应的标准字段列表；dr=（dr，1，dr，2，…，dr，p，…,dr，g（r））；dr，p为cr，p对应的标准字段。
8、s600，根据d，对每一融合工程对应的目标字段列表中每一目标字段对应的字段值进行更新。
9、根据本申请的另一方面，还提供了一种非瞬时性计算机可读存储介质，存储介质中存储有至少一条指令或至少一段程序，至少一条指令或至少一段程序由处理器加载并执行以实现上述多数据源的数据归一化方法。
10、根据本申请的另一方面，还提供了一种电子设备，包括处理器和上述非瞬时性计算机可读存储介质。
11、本专利技术至少具有以下有益效果：
12、本专利技术的多数据源的数据归一化方法，对每一预设的融合工程对应的每一目标字段进行去重处理，得到所有的融合工程共同对应的指定字段列表，根据指定字段列表中的指定字段确定每一数据源发送的原始报文中的目标原始字段；将目标原始字段进行归一化处理，得到每一数据源对应的标准字段列表；根据每一数据源对应的标准字段列表对应每一融合工程对应的目标字段列表中每一目标字段对应的字段值进行更新；本专利技术的方法中，能够使用一种数据处理规则对不同数据格式的原始报文中的原始字段进行处理，且只处理融合工程需要的目标字段，无需对原始报文中的所有的原始字段进行处理，从而使得数据的解析更加简单，且数据的处理效率较高。
13、进一步的，本专利技术的方法，使得每一原始目标字段对应的标准字段的形式都是统一数据格式，不同的融合工程在使用原始报文中的数据时，只需要针对标准字段进行处理即可，无需考虑数据源发送的报文的格式以及原始字段的形式等问题，从而进一步简化数据解析的复杂度以及提高数据的处理效率。
本文档来自技高网...【技术保护点】
1.一种多数据源的数据归一化方法，其特征在于，所述方法包括以下步骤：
2.根据权利要求1所述的多数据源的数据归一化方法，其特征在于，步骤S500包括以下步骤：
3.根据权利要求1所述的多数据源的数据归一化方法，其特征在于，在步骤S600之后，所述方法包括以下步骤：
4.根据权利要求1所述的多数据源的数据归一化方法，其特征在于，在步骤S600之后，所述方法还包括以下步骤：
5.根据权利要求1所述的多数据源的数据归一化方法，其特征在于，在步骤S500之后以及步骤S600之前，所述方法还包括以下步骤：
6.根据权利要求5所述的多数据源的数据归一化方法，其特征在于，在步骤S510之后，所述方法包括以下步骤：
7.根据权利要求1所述的多数据源的数据归一化方法，其特征在于，在步骤S500之后以及步骤S600之前，所述方法还包括以下步骤：
8.一种非瞬时性计算机可读存储介质，所述存储介质中存储有至少一条指令或至少一段程序，其特征在于，所述至少一条指令或所述至少一段程序由处理器加载并执行以实现如权利要求1-7中任
9.一种电子设备，其特征在于，包括处理器和权利要求8所述的非瞬时性计算机可读存储介质。
...【技术特征摘要】
1.一种多数据源的数据归一化方法，其特征在于，所述方法包括以下步骤：
2.根据权利要求1所述的多数据源的数据归一化方法，其特征在于，步骤s500包括以下步骤：
3.根据权利要求1所述的多数据源的数据归一化方法，其特征在于，在步骤s600之后，所述方法包括以下步骤：
4.根据权利要求1所述的多数据源的数据归一化方法，其特征在于，在步骤s600之后，所述方法还包括以下步骤：
5.根据权利要求1所述的多数据源的数据归一化方法，其特征在于，在步骤s500之后以及步骤s600之前，所述方法还包括以下步骤：
6....
【专利技术属性】
技术研发人员：翁剑英，吴月，张博，张凯伦，
申请(专利权)人：中航信移动科技有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。