【技术实现步骤摘要】
本专利技术涉及数据集成，特别涉及一种基于数据虚拟化的智能数据集成方法及系统。
技术介绍
1、数据虚拟化是一种数据管理方法，可以将多个异构数据源抽象为一个统一的数据层，提供给应用程序或用户，数据虚拟化是一座桥梁，让平台能够按需访问和显示来自外部源系统的数据。这种创新方法集中并简化了数据管理，平台本身无需实际存储数据。它在数据源和用户之间建立一个虚拟层，使组织能够访问和管理其数据，而无需从原始位置复制或移动数据。
2、采用数据虚拟化在数据集成过程中不会考虑外部数据源之间的关联，也就是会依次从每个外部数据源中调取所需要的数据，并不会因为源之间的关联而减少对源调取的操作次数，间接导致应用开发的效率降低。
3、因此，本专利技术提出一种基于数据虚拟化的智能数据集成方法。
技术实现思路
1、本专利技术提供一种基于数据虚拟化的智能数据集成方法及系统，用以基于需求涉及到的异构数据源的关联列表以及预定义指标集所构建的分析函数，来精确不同源的关联以及重要情况，且通过融合处理确定线性与非线性参数来设置抽象符号以及符号优化，实现数据集成，来有效降低调取的操作次数，提高开发效率。
2、本专利技术提供一种基于数据虚拟化的智能数据集成方法，包括：
3、步骤1：确定与业务需求的需求类型匹配的每个异构数据源的关联列表；
4、步骤2：按照预定义指标集对每个异构数据源的结构特征进行分析得到参数集，并构建对应异构数据源的分析函数；
5、步骤3：对所有分
6、步骤4：对所述业务需求进行解析并对所述抽象符号进行优化得到统一符号，实现对多个异构数据源的数据集成。
7、优选的，步骤1，包括：
8、从类型-源数据库中获取与所述业务需求的需求类型匹配的若干异构数据源；
9、对每个异构数据源的数据内容进行关联分析，得到对应异构数据源的关联列表，其中，所述关联列表中包括与剩余每个数据源的关联内容集、与每个关联内容的关联度以及对应关联内容基于相应异构数据源的内容重要性。
10、优选的，构建对应异构数据源的分析函数，包括：
11、根据所述预定义指标集中每个预定义指标与异构数据源的结构特征的标准转换关系，对相应结构特征进行对应关系转换得到基于对应预定义指标的第一参数值，并构成参数集；
12、根据每个异构数据源的应用场景，构建对应异构数据源的参数描述权重矩阵，其中，表示第1个应用场景的参数描述权重向量；表示第n个应用场景的参数描述权重向量；i的取值为1,2,3,...,m，m表示第m个预定义指标的参数描述；
13、捕捉下发所述业务需求的场景日志，并提取所述场景日志中的场景特定表示，进而根据所述场景特定表示的表示覆盖值以及语义关联值，确定与对应场景特定表示一致的表示权重；
14、;
15、其中，表示对应场景特定表示的语义关联值；表示对应场景特定表示在场景日志中第d个日志段落中所处位置的关联篇幅长度；表示场景日志中第d个日志段落的篇幅长度；表示基于所有的方差；表示对应场景特定表示在场景日志的第d个日志段落的关联覆盖比值；表示对应场景特定表示在场景日志的第d个日志段落的次数覆盖比值；表示对应场景特定表示的表示覆盖值；表示对应场景特定表示在场景日志中第d个日志段落中出现次数；表示场景日志中第d个日志段落中存在场景特征表示的总次数；d表示场景日志的日志段落总数；表示基于所有的方差；表示除对应场景特征表示的之外的剩余场景特定表示下所对应的关联覆盖比值的方差；表示除对应场景特征表示的之外的剩余场景特定表示下所对应的次数覆盖比值的方差；
16、对所述表示权重进行大小排序，筛选大于预设权重所对应的所需场景；
17、对所述所需场景的表示权重进行权重调整，得到对应场景维度的维度权重；
18、;
19、其中，表示第r1个所需场景的维度权重；表示第r1个所需场景的表示权重；m1表示所需场景的数量；m2表示不大于预设权重所对应的所需场景的数量；ln表示对数函数符号；表示小于预设权重的所有表示权重的和；表示大于预设权重的表示权重中除去第r1个所需场景对应的表示权重后的剩余权重的方差；
20、依赖所述场景维度以及维度权重，且结合a0，构建对应参数集的当下权重向量；
21、基于所述当下权重向量以及参数集，构建分析函数。
22、优选的，依赖所述场景维度以及维度权重，且结合a0，构建对应参数集的当下权重向量，包括：
23、基于所述场景维度以及维度权重，构建维度横向量；
24、按照维度横向量中所述所需场景的顺序依次从参数描述权重矩阵a0中进行向量提取得到所需描述矩阵b0，并将所述维度横向量分别与所述所需描述矩阵b0中的每列进行计算得到对应参数描述的权重，从而得到当下权重向量。
25、优选的，对所有分析函数进行融合处理，确定出基于数据集成的线性参数以及非线性参数，包括：
26、对所有分析函数中的同个参数变量的参数系数进行提取，并进行系数曲线绘制，来确定对应的系数曲线是否趋于水平线性关系；
27、若趋于，将对应参数变量进行第一锁定，得到线性参数；
28、否则，将对应参数变量进行第二锁定，得到非线性参数。
29、优选的，结合每个异构数据源的关联列表来分别向对应异构数据源配置抽象符号，包括：
30、对每个异构数据源的关联内容集按照线性参数以及非线性参数进行划分，得到针对每个线性参数的线性内容以及针对每个非线性参数的非线性内容；
31、依据每个线性内容中涉及到的与每个关联内容的关联度得到第一总度，依据基于每个线性内容基于相应异构数据源的内容重要性，得到筛选值；
32、从同个线性参数对应的所有筛选值中提取最大值，并锁定最大值所属异构数据源的匹配内容进行锁定，并设置第一集成符号；
33、向同个线性参数对应的剩余异构数据源的匹配内容设置调取符号，且结合所述第一集成符号，来对不同异构数据源中同个线性参数设置第一最终符号；
34、依据每个非线性内容中涉及到的与每个关联内容的关联度得到第二总度，并对同个非线性参数涉及到的所有第二总度进行大小排序，来依次与相应异构数据源的内容匹配，并分别设置第二最终符号；
35、对每个异构数据源中涉及到的参数变量所设置的最终符号进行统计，得到抽象符号。
36、优选的，对所述业务需求进行解析并对所述抽象符号进行优化得到统一符号，包括：
37、将所述业务需求输入到需求解析模型中，分别得到每个需求参数的参数重要性；
38、将所述需求参数与参数变量进行对照分析，且结合参数重要性得到非重要变量；
39、对非重要变量中属于线性参数的本文档来自技高网...
【技术保护点】
1.一种基于数据虚拟化的智能数据集成方法，其特征在于，包括：
2.根据权利要求1所述的基于数据虚拟化的智能数据集成方法，其特征在于，步骤1，包括：
3.根据权利要求1所述的基于数据虚拟化的智能数据集成方法，其特征在于，构建对应异构数据源的分析函数，包括：
4.根据权利要求3所述的基于数据虚拟化的智能数据集成方法，其特征在于，依赖所述场景维度以及维度权重，且结合A0，构建对应参数集的当下权重向量，包括：
5.根据权利要求1所述的基于数据虚拟化的智能数据集成方法，其特征在于，对所有分析函数进行融合处理，确定出基于数据集成的线性参数以及非线性参数，包括：
6.根据权利要求1所述的基于数据虚拟化的智能数据集成方法，其特征在于，结合每个异构数据源的关联列表来分别向对应异构数据源配置抽象符号，包括：
7.根据权利要求1所述的基于数据虚拟化的智能数据集成方法，其特征在于，对所述业务需求进行解析并对所述抽象符号进行优化得到统一符号，包括：
8.一种基于数据虚拟化的智能数据集成系统，其特征在于，包括：
【技术特征摘要】
1.一种基于数据虚拟化的智能数据集成方法，其特征在于，包括：
2.根据权利要求1所述的基于数据虚拟化的智能数据集成方法，其特征在于，步骤1，包括：
3.根据权利要求1所述的基于数据虚拟化的智能数据集成方法，其特征在于，构建对应异构数据源的分析函数，包括：
4.根据权利要求3所述的基于数据虚拟化的智能数据集成方法，其特征在于，依赖所述场景维度以及维度权重，且结合a0，构建对应参数集的当下权重向量，包括：
5.根据权利要求1所述的基于数据虚拟...
【专利技术属性】
技术研发人员：邓岗，
申请(专利权)人：北京亿智云科技有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。