【技术实现步骤摘要】
本专利技术涉及数据交互，特别涉及一种多源异构数据的弹性交互处理方法。
技术介绍
1、随着大数据时代的到来，多源异构数据交互处理成为了一个重要的研究领域,传统的数据处理方法往往针对特定类型的数据进行设计和优化，无法很好地处理多源异构数据。
2、目前，在数据交互的过程中，需要研究标识数据模型、定义格式转换模式的元数据属性、基于标识的数据模型分类方法、数据模型转化规则中处理规则、处理流程异常监控方法、转换组件库轻量化封装和加载方法、标准化的数据交互方式。
3、研发多源异构数据转化技术和处理技术，研发标识数据分析技术。支持系统具体功能的实现。
4、包括提供跨平台的接口模块，提供数据转化处理模块、安全模块、存储模块、传输模块等功能模块，具备规则构建、模型构建、组件管理、服务编排、数据分析、异构转换、任务管理等能力，支持结构化数据、半结构化数据和非结构化数据的接入、转换、存储、传输，以及基于标识特征的敏感信息识别。提供中间件数据模型，支持异构数据与对应数据模型的相互转化。实现海量、多源异构数据的标准化转化与交互管理以及弹性的服务能力。
5、在专利文件201611226752.5一种基于服务总线的数据交换方法中提出了多源数据以数据流形式进行自动调度，抽取转换，经过处理的数据与源数据交换或转发到其他目标位置，将多源异构数据进行有效的输入输出，通过采用能够实现数据流自动调度和交换的服务总线，利用数据交换引擎收集并处理数据调用服务请求，通过数据接口实现数据的共享交换。使所有的业务数据互联互通，实现数据
6、但是，其在弹性服务方面，缺乏弹性控制，每次进行数据交互的服务时，只能通过固定数据中心的交互协议进行数据转换，无法实现弹性的快速变换转换格式。
技术实现思路
1、本专利技术提供一种多源异构数据的弹性交互处理方法，用以解决现有技术在进行弹性服务方面，缺乏弹性控制，每次进行数据交互的服务时，只能通过固定的交互协议进行数据转换，无法实现弹性的快速变换转换格式的情况。
2、本专利技术提出一种多源异构数据的弹性交互处理方法，包括：
3、预先设置转换组件库，并构建分布式数据交互的序列化框架；
4、获取多源异构数据源的交互请求，并确定交互需求；
5、根据交互需求，在转换组件库中调用对应转换组件，并将转换组件加载至序列化框架，进行数据交互。
6、优选的，所述转换组件库的构建过程如下：
7、预先确定数据交互平台之间格式转换模式，并确定格式转换对应的目标组件；
8、基于目标组件，构建转换组件库；其中，
9、转换组件库用于构建前端应用；
10、转换组件库根据用户需求自定义创建；
11、转换组件库用于同时输出至少两种转换组件进行耦合，生成数据转换器。
12、优选的，所述构建分布式数据交互的序列化框架，包括：
13、通过分布式网络连接多源异构的交互设备，确定交互数据源；
14、根据交互数据源和预设的数据标识模型，进行交互数据源输出数据的序列化排布，构成序列化输入框架；其中，
15、序列化排布包括：一次性、重复性、周期性或随机性任务中任意一项或多项；
16、配置静态初始调度任务和动态目标分配任务作为序列化上层框架；其中，
17、序列化上层框架还用于进行数据输出；
18、在序列化下层框架和序列化上层框架设置加载机制，构成序列化框架。
19、优选的，所述数据标识模型用于进行识别分布式数据的元数据属性，并基于元数据属性，设定分布式数据的数据标识。
20、优选的，所述获取多源异构的交互请求包括：
21、获取数据交互平台的日志文件，其中；
22、日志文件包含不同采样时刻相对应的分布式数据的运维指标数据；
23、根据预设时长对所述运维日志文件进行数据分帧，获得多个时间序列数据；
24、基于每个时间序列数据，自动估计出其中的运维指标数据相对应的上限阈值和下限阈值，检测时间序列数据中是否产生超出所述上限阈值和下限阈值的数据漂移事件，确定产生数据漂移事件相对应的采样时刻，并记录异常数据。
25、优选的，所述数据交互还用于：
26、获取与数据交互相关的初始数据，并将初始数据存储于数据引入阶段数据中；
27、对初始数据进行加工，获取加工后的中间数据，并将中间数据存储于数据加工阶段数据中；
28、基于初始数据或加工后的中间数据，获得目标输出数据，并将目标输出数据存储于数据服务阶段数据中；
29、响应于数据输出指示，将存储于数据服务阶段数据中的目标输出数据提供给数据交互的交互接收端。
30、优选的，所述根据交互需求，在转换组件库中调用对应转换组件还包括：
31、根据交互需求，确定对应的交互平台；
32、根据交互平台，确定数据转换的转换组件；
33、根据数据转换的转换组件，确定数据转换的前置格式和目标格式；
34、根据前置格式和目标格式，检索转换组件库中的目标转换组件，并进行组件调用。
35、优选的，所述根据交互需求，在转换组件库中调用对应转换组件还包括：
36、响应于多源异构数据源的连接信息，获得多源异构数据源的的格式数据；
37、基格式数据进行转换组件检索，并基于检索结果，在转换组件库中更新转换组件库。
38、优选的，所述数据交互还包括：
39、设置知识蒸馏机制，对序列化框架转换后的数据进行压缩，生成目标识别模型；
40、目标识别模型由多个神经网络模型集成得到；
41、根据目标识别模型，对转换前后的信息进行匹配识别，获取匹配识别结果；
42、根据匹配识别结果，判断数据交互是否准确。
43、优选的，所述数据交互还包括：
44、构建数据交互的格式表格；其中，
45、格式表格对其数据转换的准确性进行评估，并部署生成第二调用指令们进行转换组件调用；
46、根据格式表格表；
47、对数据转换的实际情况和理想状态进行对比，判定数据交互是否完成。
48、本专利技术有益效果在于：
49、本申请可以便捷的处理数据交互的整个过程，在这个过程中可以任意加载不同的格式转换组件，从而实现数据弹性交互，灵活性和便捷性更高。
50、本专利技术的其它特征和优点将在随后的说明书中阐述，并且，部分地从说明书中变得显而易见，或者通过实施本专利技术而了解。本专利技术的目的和其他优点可通过在所写的说明书以及附图中所特别指出的结构来实现和获得。
51、下面通过附图和实施例，对本专利技术的技术方案做进一步的详细描述。
本文档来自技高网...【技术保护点】
1.一种多源异构数据的弹性交互处理方法，其特征在于，包括：
2.如权利要求1所述的一种多源异构数据的弹性交互处理方法，其特征在于，所述转换组件库的构建过程如下：
3.如权利要求1所述的一种多源异构数据的弹性交互处理方法，其特征在于，所述构建分布式数据交互的序列化框架的步骤如下：
4.如权利要求3所述的一种多源异构数据的弹性交互处理方法其特征在于，所述数据标识模型用于进行识别分布式数据的元数据属性，并基于元数据属性，设定分布式数据的数据标识。
5.如权利要求1所述的一种多源异构数据的弹性交互处理方法其特征在于，所述获取多源异构的交互请求包括：
6.如权利要求1所述的一种多源异构数据的弹性交互处理方法其特征在于，所述数据交互还用于：
7.如权利要求1所述的一种多源异构数据的弹性交互处理方法其特征在于，所述根据交互需求，在转换组件库中调用对应转换组件还包括：
8.如权利要求1所述的一种多源异构数据的弹性交互处理方法其特征在于，所述根据交互需求，在转换组件库中调用对应转换组件还包括：
9.如权
10.如权利要求1所述的一种多源异构数据的弹性交互处理方法其特征在于，所述数据交互还包括：
...【技术特征摘要】
1.一种多源异构数据的弹性交互处理方法，其特征在于，包括：
2.如权利要求1所述的一种多源异构数据的弹性交互处理方法，其特征在于，所述转换组件库的构建过程如下：
3.如权利要求1所述的一种多源异构数据的弹性交互处理方法，其特征在于，所述构建分布式数据交互的序列化框架的步骤如下：
4.如权利要求3所述的一种多源异构数据的弹性交互处理方法其特征在于，所述数据标识模型用于进行识别分布式数据的元数据属性，并基于元数据属性，设定分布式数据的数据标识。
5.如权利要求1所述的一种多源异构数据的弹性交互处理方法其特征在于，所述获取多源异构的交互请求包...
【专利技术属性】
技术研发人员：李利军，谢耘，张运春，于滨峰，董雷，赵栋，郑阳阳，于连宇，霍力强，孟祥芹，李晓光，
申请(专利权)人：北京东方通科技股份有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。