一种数据重构方法及系统技术方案

本发明专利技术公开了一种数据重构方法及系统，包括：进行多源异构数据的融合，获取融合数据；对所述融合数据进行异常数据处理，获取处理后的融合数据；对处理后的融合数据进行升维，以获取多维数据，实现数据重构。本发明专利技术能够解决试验数据中管理混乱、数据孤岛严重、无法统一汇总管理以及试验数据字段的属性单一、表达能力弱、无法充分利用的问题，能够为动态、高效、实时的试验数据分析提供有力的支撑，有效地提升企业的生产效率与竞争力，实现产品的生产过程智能化、流程管理智能化和制造模式智能化。流程管理智能化和制造模式智能化。流程管理智能化和制造模式智能化。

【技术实现步骤摘要】
一种数据重构方法及系统


[0001]本专利技术涉及数据处理
，并且更具体地，涉及一种数据重构方及系统。

技术介绍

[0002]我国航空工业系统中各种试验场景下产生的大量试验数据，普遍存在多源异构、属性单一等特点，同时试验数据处理工具或系统多是分散独立，因数据割裂而造成的“数据孤岛”现象较为严重。
[0003]因此，需要一种数据重构方法。

技术实现思路

[0004]本专利技术提出一种数据重构方法及系统，以解决如何进行数据重构的问题。
[0005]为了解决上述问题，根据本专利技术的一个方面，提供了一种数据重构方法，所述方法包括：
[0006]进行多源异构数据的融合，获取融合数据；
[0007]对所述融合数据进行异常数据处理，获取处理后的融合数据；
[0008]对处理后的融合数据进行升维，以获取多维数据，实现数据重构。
[0009]优选地，其中所述进行多源异构数据的融合，获取融合数据，包括：
[0010]根据实际业务需求，基于不同维度建立全数据目录；
[0011]建立统一的数据模型，以对象模型的形式存储和管理用户需求的标准规范的数据对象模型和元数据模型信息；
[0012]基于数据仓库技术ETL工具将不同数据源的异构数据导入到统一的目录下，以实现数据融合，获取融合数据。
[0013]优选地，其中所述对所述融合数据进行异常数据处理，获取处理后的融合数据，包括：
[0014]采用忽略元组、全局变量、属性的平均值或中间值进行空缺值的补齐；
[0015]采用分箱法进行噪声数据的替换；
[0016]采用条件函数依赖、标准函数库和汇总分解函数来进行不一致数据的清洗；
[0017]采用优先队列算法、近邻排序算法或多趟近邻排序算法进行重复数据的清洗。
[0018]优选地，其中所述对处理后的融合数据进行升维，以获取多维数据，实现数据重构，包括：
[0019]分析不同层面的业务维度扩展需求，并利用逻辑关联业务思维和统计方法提取进行数据维度扩展需求的关键特征，并基于所述关键特征对处理后的融合数据进行升维，以获取多维数据，实现数据重构。
[0020]根据本专利技术的另一个方面，提供了一种数据重构系统，所述系统包括：
[0021]数据融合单元，用于进行多源异构数据的融合，获取融合数据；
[0022]数据清洗单元，用于对所述融合数据进行异常数据处理，获取处理后的融合数据；
[0023]数据升维单元，用于对处理后的融合数据进行升维，以获取多维数据，实现数据重构。
[0024]优选地，其中所述数据融合单元，进行多源异构数据的融合，获取融合数据，包括：
[0025]根据实际业务需求，基于不同维度建立全数据目录；
[0026]建立统一的数据模型，以对象模型的形式存储和管理用户需求的标准规范的数据对象模型和元数据模型信息；
[0027]基于数据仓库技术ETL工具将不同数据源的异构数据导入到统一的目录下，以实现数据融合，获取融合数据。
[0028]优选地，其中所述数据清洗单元，对所述融合数据进行异常数据处理，获取处理后的融合数据，包括：
[0029]采用忽略元组、全局变量、属性的平均值或中间值进行空缺值的补齐；
[0030]采用分箱法进行噪声数据的替换；
[0031]采用条件函数依赖、标准函数库和汇总分解函数来进行不一致数据的清洗；
[0032]采用优先队列算法、近邻排序算法或多趟近邻排序算法进行重复数据的清洗。
[0033]优选地，其中所述数据升维单元，对处理后的融合数据进行升维，以获取多维数据，实现数据重构，包括：
[0034]分析不同层面的业务维度扩展需求，并利用逻辑关联业务思维和统计系统提取进行数据维度扩展需求的关键特征，并基于所述关键特征对处理后的融合数据进行升维，以获取多维数据，实现数据重构。
[0035]基于本专利技术的另一方面，本专利技术提供一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现一种数据重构方法中任一项的步骤。
[0036]基于本专利技术的另一方面，本专利技术提供一种电子设备，包括：
[0037]上述的计算机可读存储介质；以及
[0038]一个或多个处理器，用于执行所述计算机可读存储介质中的程序。
[0039]本专利技术提供了一种数据重构方法及系统，包括：进行多源异构数据的融合，获取融合数据；对所述融合数据进行异常数据处理，获取处理后的融合数据；对处理后的融合数据进行升维，以获取多维数据，实现数据重构。本专利技术能够解决试验数据中管理混乱、数据孤岛严重、无法统一汇总管理以及试验数据字段的属性单一、表达能力弱、无法充分利用的问题，能够为动态、高效、实时的试验数据分析提供有力的支撑，有效地提升企业的生产效率与竞争力，实现产品的生产过程智能化、流程管理智能化和制造模式智能化。
附图说明
[0040]通过参考下面的附图，可以更为完整地理解本专利技术的示例性实施方式：
[0041]图1为根据本专利技术实施方式的数据重构方法100的流程图；
[0042]图2为根据本专利技术实施方式的数据展示示意图；
[0043]图3为根据本专利技术实施方式的数据清洗的示意图；
[0044]图4为根据本专利技术实施方式的数据升维的示意图；
[0045]图5为根据本专利技术实施方式的数据重构系统500的结构示意图。
具体实施方式
[0046]现在参考附图介绍本专利技术的示例性实施方式，然而，本专利技术可以用许多不同的形式来实施，并且不局限于此处描述的实施例，提供这些实施例是为了详尽地且完全地公开本专利技术，并且向所属
的技术人员充分传达本专利技术的范围。对于表示在附图中的示例性实施方式中的术语并不是对本专利技术的限定。在附图中，相同的单元/元件使用相同的附图标记。
[0047]除非另有说明，此处使用的术语(包括科技术语)对所属
的技术人员具有通常的理解含义。另外，可以理解的是，以通常使用的词典限定的术语，应当被理解为与其相关领域的语境具有一致的含义，而不应该被理解为理想化的或过于正式的意义。
[0048]本专利技术针对航空发动机试验数据来源多、数据类型杂、数据口径不一致一级数据属性单一等问题，提出一种基于多源数据抽取融合、清洗和升维技术的航空发动机试验数据重构方法，着力解决航空发动机试验数据利用率低、信息孤单严重等问题。进一步地为动态、高效、实时的发动机试验数据分析提供有力的支撑，有效地提升航空工业企业的生产效率与竞争力，实现航发产品的生产过程智能化、流程管理智能化和制造模式智能化。
[0049]图1为根据本专利技术实施方式的数据重构方法100的流程图。如图1所示，本专利技术实施方式提供的数据重构方法，能够解决试验数据中管理混乱、数据孤岛严重、无法统一汇总管理以及试验数据字段的属性单一、表达能力弱、无法充分利用的问题，能够为动态、高效、实时的试验数据分析提供有力的本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种数据重构方法，其特征在于，所述方法包括：进行多源异构数据的融合，获取融合数据；对所述融合数据进行异常数据处理，获取处理后的融合数据；对处理后的融合数据进行升维，以获取多维数据，实现数据重构。2.根据权利要求1所述的方法，其特征在于，所述进行多源异构数据的融合，获取融合数据，包括：根据实际业务需求，基于不同维度建立全数据目录；建立统一的数据模型，以对象模型的形式存储和管理用户需求的标准规范的数据对象模型和元数据模型信息；基于数据仓库技术ETL工具将不同数据源的异构数据导入到统一的目录下，以实现数据融合，获取融合数据。3.根据权利要求1所述的方法，其特征在于，所述对所述融合数据进行异常数据处理，获取处理后的融合数据，包括：采用忽略元组、全局变量、属性的平均值或中间值进行空缺值的补齐；采用分箱法进行噪声数据的替换；采用条件函数依赖、标准函数库和汇总分解函数来进行不一致数据的清洗；采用优先队列算法、近邻排序算法或多趟近邻排序算法进行重复数据的清洗。4.根据权利要求1所述的方法，其特征在于，所述对处理后的融合数据进行升维，以获取多维数据，实现数据重构，包括：分析不同层面的业务维度扩展需求，并利用逻辑关联业务思维和统计方法提取进行数据维度扩展需求的关键特征，并基于所述关键特征对处理后的融合数据进行升维，以获取多维数据，实现数据重构。5.一种数据重构系统，其特征在于，所述系统包括：数据融合单元，用于进行多源异构数据的融合，获取融合数据；数据清洗单元，用于对所述融合数据进行异常数据处理，获取处理后的融合数据；数据升维单元，用于对处理后的融合...

【专利技术属性】
技术研发人员：陆超，唐发朝，李辉，杨锦昌，洪学超，赵雪生，
申请(专利权)人：中国航发四川燃气涡轮研究院，
类型：发明
国别省市：