一种多源异构数据融合存储系统技术方案

本发明专利技术提供了一种多源异构数据融合存储系统，包括有控制模块，所述控制模块上电性连接有数据评价模块，所述数据评价模块上电性连接有数据分析模块，所述数据分析模块上电性连接有数据集成模块，所述数据集成模块上电性连接有数据处理模块，所述数据处理模块上电性连接有通讯模块，所述通讯模块上电性连接有多源异构模块，所述控制模块上电性连接有存储模块；本发明专利技术通过数据集成模块实现对数据信息进行融合处理，并且对数据信息进行分解，判定数据信息的有效性，以及对数据信息进行修复，通过数据特征对数据信息进行融合处理，对存储地址进行映射，使得数据信息进行能够通过多方面的查询方式进行查询，并且防止存储的冗余。并且防止存储的冗余。并且防止存储的冗余。

【技术实现步骤摘要】
一种多源异构数据融合存储系统


[0001]本专利技术涉及多源异构数据领域，具体而言，涉及一种多源异构数据融合存储系统。

技术介绍

[0002]存储系统是指计算机中由存放程序和数据的各种存储设备、控制部件及管理信息调度的设备(硬件)和算法(软件)所组成的系统。
[0003]存储系统是计算机的重要组成部分之一。存储系统提供写入和读出计算机工作需要的信息(程序和数据)的能力，实现计算机的信息记忆功能。现代计算机系统中常采用寄存器、高速缓存、主存、外存的多级存储体系结构。
[0004]多源：指数据的来源具有多源性。多源异构数据来自多个数据源，包括不同数据库系统和不同设备在工作中采集的数据集。不同的数据源所在的操作系统、管理系统不同(例如OA、CRM、HR、MES、SCM)，数据的存储模式和逻辑结构不同，数据的产生时间、使用场所、代码协议等也不同，这造成了数据“多源”的特征。
[0005]异构：指数据种类及形态具有复杂性，即异构性。
[0006]多源异构数据包括结构化数据、半结构化数据和非结构化数据。
[0007]多源异构数据融合就是将各种不同的数据信息进行综合，吸取不同数据源的特点然后从中提取出统一的，比单一数据更好、更丰富的信息。
[0008]但是，现有的多源异构数据融合存储系统依旧存在有以下问题：
[0009]现有的技术方案在使用的时候，不能够对数据信息进行有效的计算处理，以及不能够实现对多源异构数据信息进行充分的集成处理，且在集成处理的时候，未对数据信息进行预先处理和清洗等操作，容易造成数据信息中存在有无用信息和错误等信息，并且对于数据信息的存储，没有设置地址映射，使得数据信息的查询不便于，不能够多种方式进行查询到，且存储位置的错位容易造成存储冗余等问题。

技术实现思路

[0010]为了弥补以上不足，本专利技术提供了一种多源异构数据融合存储系统，旨在解决现有技术不能够对数据信息进行有效的计算处理，以及不能够实现对多源异构数据信息进行充分的集成处理，且在集成处理的时候，未对数据信息进行预先处理和清洗等操作，容易造成数据信息中存在有无用信息和错误等信息，并且对于数据信息的存储，没有设置地址映射，使得数据信息的查询不便于，不能够多种方式进行查询到，且存储位置的错位容易造成存储冗余等问题的问题。
[0011]本专利技术是这样实现的：
[0012]一种多源异构数据融合存储系统，包括有控制模块，所述控制模块上电性连接有数据评价模块，所述数据评价模块上电性连接有数据分析模块，所述数据分析模块上电性连接有数据集成模块，所述数据集成模块上电性连接有数据处理模块，所述数据处理模块上电性连接有通讯模块，所述通讯模块上电性连接有多源异构模块，所述多源异构模块是
用于实现对多源异构的数据信息进行传输，所述通讯模块是用于实现对数据信息进行传输，所述数据处理模块是用于实现对数据信息进行计算处理，并且实现对数据信息进行滤波处理，所述数据集成模块用于两个或多个数据集通过格式转换、结构重组、语义匹配、尺度转换和数据融合等有机和虚拟的组合，所述数据分析模块主要利用关联分析、分类聚类及深度学习技术实现数据的价值挖掘，所述数据评价模块用于实现对集成后的数据信息进行判定，检测数据信息是否复合元数据信息的含义，是否存在有巨大偏差；
[0013]所述数据集成模块中包括有数据选择模块，所述数据选择模块上电性连接有数据预处理模块，所述数据预处理模块上电性连接有数据清洗模块，所述数据清洗模块上电性连接有数据检测模块，所述数据检测模块上电性连接有数据融合模块，所述数据融合模块上电性连接有数据处理模块，所述选择数据模块用于实现对接收的数据进行选择需要融合的数据，所述数据预处理模块是实现对数据信息进行初步处理，所述数据清洗模块是用于检测数据中存在的“脏数据”，通过数据筛选、数据修复手段提高数据的质量，所述数据检测模块用于检测数据信息是否有缺失，进行补充，所述数据融合模块是用于实现对处理后的数据信息进行组合成新的数据信息，所述数据输出模块用于实现将数据信息进行输出离开；
[0014]所述控制模块上电性连接有存储模块，所述存储模块用于实现对多源异构数据处理融合后的数据信息进行存储，所述存储模块中包括有存储队列模块，所述存储队列模块上电性连接有存储缓冲模块，所述存储缓冲模块上电性连接有存储地址模块，所述存储地址模块上电性连接有存储映射模块，所述存储映射模块上电性连接有本地存储模块、云存储模块和数据库模块，所述存储队列模块用于实现对需要存储的数据信息进行排队存储，所述存储缓冲模块用于实现对数据信息进行缓存，提高存储速率，所述存储地址模块用于实现对存储的数据信息进行地址编辑，所述存储映射模块用于实现对数据信息进行复制实现分别存储。
[0015]本专利技术的一种实施例中，所述控制模块上电性连接有调压模块，所述调压模块上电性连接有供电模块，所述供电模块采用的是市电网，所述调压模块中包括有用于实现对所述市电网的电压进行降低的低电压、用于实现对所述市电网的交流电压转换成直流电压、用于实现对降低和转换后电压进行稳定调节，实现稳定的输送和用于实现对直流电压中的交流电压进行滤除。
[0016]本专利技术的一种实施例中，所述控制模块上电性连接有辅助模块，所述辅助模块中包括有用于实现对数据信息进行显示的显示器、用于实现控制调节的控制按键、用于实现对系统的运行状态进行显示的指示灯和用于实现产生准确运动的时钟电路，所述时钟电路中由晶体振荡器、晶振控制芯片和电容组成。
[0017]本专利技术的一种实施例中，所述多源异构模块是数据信息的来源，且所述多源异构模块的信息来源包括有采集信息、输入信息和生产信息，所述采集信息包括有各类传感器采集的数据信息、视频信息、图片信息和音频信息，所述输入信息包括有输入的各种格式的信息和各种数据库类型的数据信息，所述生产信息包括有初始信息和后续更新的数据信息。
[0018]本专利技术的一种实施例中，所述数据处理模块中包括有用于实现对数据信息进行接收的获取电路、包括用于实现对数据信息进行放大处理的增益电路、包括有用于实现对数
据信息进行格式转换的转换电路和用用于实现对数据信息进行滤除杂波的滤波电路，所述滤波电路采用的是数字滤波电路。
[0019]本专利技术的一种实施例中，所述数据选择模块通过数据融合的标准实现对数据信息进行选择，按照相同的准则实现对有用和同类的数据信息进行筛选，所述数据预处理模块用于实现对所述数据选择模块选取的数据信息进行拆分处理，将数据信息分解成较小的语义片段，便于后续操作进行处理。
[0020]本专利技术的一种实施例中，所述数据清洗模块用于实现对数据信息中的无用信息和错误信息进行除去，首先利用统计分析的方法对出现的错误值进行识别，然后才能对错误数据进行清除，达到数据清洗的目的，所述数据检测模块是对于不一致的数据，基于关联数据之间的一致性来检测数据潜在的错误，并进行修复，以完成对多数据源数据的清理。
[0021]本专利技术的一种实施例中，所述数据融合模块通过像素级融本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种多源异构数据融合存储系统，其特征在于，包括有控制模块，所述控制模块上电性连接有数据评价模块，所述数据评价模块上电性连接有数据分析模块，所述数据分析模块上电性连接有数据集成模块，所述数据集成模块上电性连接有数据处理模块，所述数据处理模块上电性连接有通讯模块，所述通讯模块上电性连接有多源异构模块，所述多源异构模块是用于实现对多源异构的数据信息进行传输，所述通讯模块是用于实现对数据信息进行传输，所述数据处理模块是用于实现对数据信息进行计算处理，并且实现对数据信息进行滤波处理，所述数据集成模块用于两个或多个数据集通过格式转换、结构重组、语义匹配、尺度转换和数据融合等有机和虚拟的组合，所述数据分析模块主要利用关联分析、分类聚类及深度学习技术实现数据的价值挖掘，所述数据评价模块用于实现对集成后的数据信息进行判定，检测数据信息是否复合元数据信息的含义，是否存在有巨大偏差；所述数据集成模块中包括有数据选择模块，所述数据选择模块上电性连接有数据预处理模块，所述数据预处理模块上电性连接有数据清洗模块，所述数据清洗模块上电性连接有数据检测模块，所述数据检测模块上电性连接有数据融合模块，所述数据融合模块上电性连接有数据处理模块，所述选择数据模块用于实现对接收的数据进行选择需要融合的数据，所述数据预处理模块是实现对数据信息进行初步处理，所述数据清洗模块是用于检测数据中存在的“脏数据”，通过数据筛选、数据修复手段提高数据的质量，所述数据检测模块用于检测数据信息是否有缺失，进行补充，所述数据融合模块是用于实现对处理后的数据信息进行组合成新的数据信息，所述数据输出模块用于实现将数据信息进行输出离开；所述控制模块上电性连接有存储模块，所述存储模块用于实现对多源异构数据处理融合后的数据信息进行存储，所述存储模块中包括有存储队列模块，所述存储队列模块上电性连接有存储缓冲模块，所述存储缓冲模块上电性连接有存储地址模块，所述存储地址模块上电性连接有存储映射模块，所述存储映射模块上电性连接有本地存储模块、云存储模块和数据库模块，所述存储队列模块用于实现对需要存储的数据信息进行排队存储，所述存储缓冲模块用于实现对数据信息进行缓存，提高存储速率，所述存储地址模块用于实现对存储的数据信息进行地址编辑，所述存储映射模块用于实现对数据信息进行复制实现分别存储。2.根据权利要求1所述的一种多源异构数据融合存储系统，其特征在于，所述控制模块上电性连接有调压模块，所述调压模块上电性连接有供电模块，所述供电模块采用的是市电网，所述调压模块中包括有用于实现对所述市电网的电压进行降低的低电压、用于实现对所述市电网的交流电压转换成直流电压、用于实现对降低和转换后电压进行稳定调节，实现稳定的输送和用于实现对直流电压中的交流电压进行滤除。3.根据权利要求1所述的一种多源异构数据融合存储系统，其特征在于，所述控制模块上电性连接有辅助模块，所述辅助模块中包括有用于实现对数据信息进行显示的显示器、用于实现控制调节的控制按键、用于实现对系统的运行状态进行显示的指示灯和用于实现产生准确运动的时钟电路，所述时钟电路中由晶体振荡器、晶振控制芯片和...

【专利技术属性】
技术研发人员：王明虎，张龙亮，刘玉建，吉新超，轩阳，姚涵斌，杜喆，黄萌萌，
申请(专利权)人：河北深保投资发展有限公司，
类型：发明
国别省市：